JP2004234624A - 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 複数の画像データを用いて合成処理を行う場合に、処理時間を短縮し得る技術を提供する。
【解決手段】 本発明の静止画像生成装置は、複数の画像データから、時系列に並んだ複数の第１の画像データを取得する画像取得部と、画像取得部で取得した複数の第１の画像データを保存する画像保存部と、画像保存部に保存されている複数の第１の画像データから、各画像データの表す画像間の位置ずれを補正するための補正量を推定する補正量推定部と、推定した補正量に基づいて、複数の第１の画像データにおける画像間の位置ずれを補正するとともに、補正した複数の第１の画像データを合成して、第１の画像データに比べて高解像度な第２の画像データを静止画像データとして生成する画像合成部とを備える。
【選択図】 図１

Description

本発明は、複数の比較的低解像度の画像データである複数の画像データから、比較的高解像度の静止画像データを生成可能な、静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体に関する。

デジタルビデオカメラなどで撮影して記録された動画像データは、複数の比較的低解像度の画像データ（例えば、フレーム画像データなど。）を有している。従来、この動画像データから１つのフレーム画像データを取得し、それを静止画像として活用することが行われている。また、動画像データから、フレーム画像データを取得する時に、１つのフレーム画像データだけでなく、複数のフレーム画像データを取得し、それらの画像データを重ね合わせて画素データの補間をする合成処理を行うことで、より高解像度の静止画像データが生成される。このように複数のフレーム画像データを重ね合わせて合成する方法は、単純に１つのフレーム画像を解像度変換する方法に比べて高画質化が期待できる。なお、ここで、解像度とは、１つの画像を構成する画素の密度あるいは画素数を意味している。
また、上述のような静止画像データを作成する技術として、例えば、特許文献１には、連続する（ｎ＋１）枚のフレーム画像から１枚のフレーム画像を基準フレーム画像として選択し、この基準フレーム画像に対する他のｎ枚のフレーム画像（対象フレーム画像）の動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、（ｎ＋１）枚のフレーム画像を合成して１枚の高解像度な画像を生成する技術が開示されている。

特開平１１−１６４２６４号公報

しかしながら、上述のように複数の低解像度のフレーム画像データを用いて合成処理を行い、１つの高解像度画像を作成する場合には、１つのフレーム画像から、画素データの補間により１つの高解像度画像を作成する場合と比べて、処理時間が増大するため、処理時間を短縮したいという要望があった。
また、上述のように動画像データから取得する場合に限らず、単に、複数の画像データから取得する場合にも、同様の要望があった。

従って、本発明は、上記課題にかんがみてなされたもので、複数の画像データを用いて合成処理を行う場合に、処理時間を短縮し得る技術を提供することを目的とする。

上記目的の少なくとも一部を達成するために、本発明の静止画像生成装置は、複数の画像データから、静止画像データを生成するための静止画像生成装置であって、
前記複数の画像データから、時系列に並んだ複数の第１の画像データを取得する画像取得部と、
前記画像取得部で取得した前記複数の第１の画像データを保存する画像保存部と、
前記画像保存部に保存されている前記複数の第１の画像データから、各画像データの表す画像間の位置ずれを補正するための補正量を推定する補正量推定部と、
推定した前記補正量に基づいて、前記複数の第１の画像データにおける前記画像間の位置ずれを補正するとともに、補正した前記複数の第１の画像データを合成して、前記第１の画像データに比べて高解像度な第２の画像データを前記静止画像データとして生成する画像合成部と、
を備えたことを要旨とする。

このようにすれば、第１の画像データと比べて高解像度な第２の画像データを生成する時に、改めて、複数の画像データから時系列に並んだ複数の第１の画像データを取得する必要がなく、画像保存部に保存された複数の第１の画像データを用いて、第２の画像データを生成することができるので、その分、処理時間を短縮することができる。

なお、前記複数の画像データは、動画像データを構成していてもよい。この場合には、動画像データから、静止画像データを生成することができる。

また、画像データ取り込みを指示された際に、前記画像取得部は、前記複数の画像データから前記複数の第１の画像データを取得し、前記画像保存部は、取得した前記複数の第１の画像データを保存するようにしてもよい。

例えば、複数の画像データが動画像データを構成している場合であって、その動画像のファイル形式が後述するようなランダムアクセス形式である場合には、動画像データから直接的に複数の第１の画像データを取得することができるので、画像データの取り込みを指示された際に、このような処理が可能となる。

また、前記画像取得部は、前記複数の画像データから前記第１の画像データを順次取得すると共に、前記画像保存部は、保存している前記複数の第１の画像データを、取得した前記第１の画像データで順次更新し、
画像データ取り込みを指示された際に、前記画像保存部は、保存している前記複数の第１の画像データを保持するようにしてもよい。

例えば、複数の画像データが動画像データを構成している場合であって、その動画像のファイル形式が後述するようなシーケンシャルアクセス形式である場合には、動画像データから直接的に複数の第１の動画像データを取得することが困難であるが、このように、動画像データから第１の画像データを順次取得し、取得した第１の画像データで既に保存されている複数の第１の画像データを順次更新するようにすれば、画像データ取り込みを指示された際に、保存している前記複数の第１の画像データを保持することにより、複数の第１の画像データを容易に取り込むことができる。

前記画像保存部は、前記複数の第１の画像データの他に、前記画像合成部で生成された前記第２の画像データも保存するようにしてもよい。
このようにすれば、生成された第２の画像データをいつでも読み出して利用することが可能となる。

前記画像合成部が、補正した前記複数の第１の画像データを合成して前記第２の画像データを生成する際に、複数種類の合成方法を選択的にとりうる場合に、
前記画像保存部は、異なる種類の合成方法で合成された前記第２の画像データを、合成方法の種類ごとに、それぞれ保存するようにしてもよい。
このようにすれば、異なる種類の合成方法で合成された第２の画像データを、必要に応じて読み出して利用することができる。

また、補正した前記複数の第１の画像データについて、一度合成したことのある合成方法と同じ種類の合成方法で再度合成することを指示された場合に、前記画像合成部は、補正した前記複数の第１の画像データの合成を行うことなく、前記画像保存部から、前記同じ種類の合成方法ですでに合成されている前記第２の画像データを読み出すようにしてもよい。
このようにすれば、同様の合成を重複して行うことがないため、その分、処理時間を短縮することができる。

前記画像保存部は、前記複数の第１の画像データの他に、取得した前記複数の第１の画像データのうちの少なくとも１つの画像データの、前記複数の画像データにおける時間的な位置を表す位置情報を保存するようにしてもよい。

このようにすれば、保存している位置情報を用いることにより、複数の第１の画像データのうちの少なくとも１つの画像データについて、その画像データが存在していた複数の画像データにおける時間的な位置に、容易にアクセスすることができるので、複数の画像データにおける、その位置の近傍にある他の画像データを取り込みたい場合に、その取り込み時間を短縮することができる。

前記画像合成部から生成される前記第２の画像データからサムネイル画像データを作成するサムネイル画像作成部と、
少なくとも前記サムネイル画像データの表すサムネイル画像を表示する画像表示部と、を備え、
前記画像表示部は、前記サムネイル画像を、前記サムネイル画像に対応する前記第２の画像データに関連する所定の情報とともに表示するようにしてもよい。

このようにすれば、ユーザは、生成された第２の画像データに対応したサムネイル画像だけでなく、そのサムネイル画像と一緒に、第２の画像データに関連した情報も見ることができるので、生成された第２の画像データの内容を総合的に把握することができる。

前記画像合成部が、補正した前記複数の第１の画像データを合成して前記第２の画像データを生成する際に、複数種類の合成方法を選択的にとりうる場合に、
前記所定の情報は、前記サムネイル画像データに対応する前記第２の画像データを生成する際に用いた合成方法を表す情報であってもよい。

このようにすれば、ユーザは、サムネイル画像と一緒に、その情報を見るだけで、生成された第２の画像データが、複数種類の合成方法のうちのどの合成方法が行われたかを容易に知ることができる。

なお、本発明は、上記した静止画像生成装置などの装置発明の態様に限ることなく、静止画像生成方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構築するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。

また、本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、上記装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。

以下、下記の順序に従って本発明の実施の形態を説明する。
（１）．実施例：
Ａ．静止画像生成システムの構成：
Ｂ．処理の概略：
Ｂ１．処理全体の流れ：
Ｂ１−１．シーケンシャルアクセスモード：
Ｂ１−２．ランダムアクセスモード：
Ｂ１−３．データリストの作成：
Ｂ１−４．静止画像生成処理：
Ｃ．静止画像データ生成の手順：
Ｃ１．フレーム画像データの取り込み：
Ｃ２．補正量推定処理：
Ｃ３．合成処理：
Ｄ．効果：
（２）．変形例：

（１）．実施例：
Ａ．静止画像生成システムの構成：
図１は、本発明の一実施例である静止画像生成システム１００の概略構成を示している。本システム１００は、パーソナルコンピュータ１０（以下、ＰＣ１０とも呼ぶ。）、動画像データを出力可能なデジタルビデオカメラ３０等から構成されている。ＰＣ１０は、動画像データに含まれる複数の比較的低解像度のフレーム画像データから比較的高解像度の静止画像を表現するフレーム画像データを生成する静止画像生成装置として機能する。

なお、本実施例においては、フレーム画像データが表す画像をフレーム画像とも呼ぶ。このフレーム画像は、ノンインターレース方式で表示可能な静止画像を意味している。さらに、複数のフレーム画像を合成することで生成される比較的高解像度な静止画像データを生成静止画像データとも呼び、その生成静止画像データが表す画像を生成静止画像とも呼ぶ。

ＰＣ１０は演算処理の中枢をなすＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、ＤＶＤ−ＲＯＭドライブ１５（以下、ＤＶＤドライブ１５とも呼ぶ。）と、１３９４用Ｉ／Ｏ１７ａと、各種インターフェイス（Ｉ／Ｆ）１７ｂ〜ｅと、ＨＤＤ（ハードディスク）１４と、ＣＲＴ１８ａと、キーボード１８ｂと、マウス１８ｃと、を備えている。

ＨＤＤ１４には、オペレーティングシステム（ＯＳ）や静止画像データ等を作成可能なアプリケーションプログラム（ＡＰＬ、後述するアプリケーションＸを含む。）等が格納されている。実行時には、ＣＰＵ１１がこれらのソフトウェアを適宜ＲＡＭ１３に転送し、ＲＡＭ１３を一時的な作業領域として適宜アクセスしながらプログラムを実行する。なお、ＨＤＤ１４は、少なくとも、ドライブ領域Ｃ（以下、Ｃドライブとも呼ぶ。）と、その下層にフォルダ領域またはファイル保存領域を備え、さらにフォルダ領域の下層に、ファイル保存領域を備えている。

１３９４用Ｉ／Ｏ１７ａは、ＩＥＥＥ１３９４規格に準拠したＩ／Ｏであり、動画像データを生成して出力可能なビデオカメラ３０等が接続されるようになっている。

ＣＲＴＩ／Ｆ１７ｂには、フレーム画像を表示することが可能なディスプレイ１８ａが接続され、入力Ｉ／Ｆ１７ｃにはキーボード１８ｂやマウス１８ｃが操作用入力機器として接続されている。

プリンタＩ／Ｆ１７ｅには、パラレルＩ／Ｆケーブルを介してプリンタ２０が接続されている。むろん、ＵＳＢケーブル等を介してプリンタ２０を接続する構成としてもよい。

ＤＶＤ−ＲＯＭドライブ１５には、動画像データを記憶したＤＶＤ−ＲＯＭ１５ａが挿入されており、動画像データを出力可能となっている。

バッファ１４０は、後述するように、フレーム画像データを一時記憶できるバッファ領域３０１〜３０４を備えている。ＲＡＭ１３は、後述するデータリストを保存するデータリスト保存領域１１５を備えている。

図１に示すように、ＣＰＵ１１は、アプリケーションＸを実行することにより、システムバス１０ａを介して、各部と接続されており、ＰＣ１０の全体の制御を行う。図２は、本実施例の静止画像生成システムにおけるＣＰＵ１１およびＲＡＭ１３の機能を示すブロック図である。生成静止画像を生成する処理を行う場合、ＣＰＵ１１は、フレーム画像管理部１１０、フレーム画像取得部１１１、および静止画像生成部１１２として機能する。フレーム画像管理部１１０は、各部の制御を行い、生成静止画像を生成する動作を全体的に制御する。例えば、キーボード１８ｂやマウス１８ｃからユーザによって動画像の再生の指示が入力されると、フレーム画像管理部１１０は、ＤＶＤドライブ１５に挿入されたＤＶＤ−ＲＯＭ１５ａあるいは、デジタルビデオカメラ３０の記録媒体であるデジタルビデオテープ（図示せず）などからＲＡＭ１３に動画像データを読み込む。フレーム画像管理部１１０は、読み込んだ動画像データが有する複数のフレーム画像を、ビデオドライバを介してＣＲＴ１８ａに順に表示する。これにより、ＣＲＴ１８ａ上で動画像が表示される。また、フレーム画像管理部１１０は、後述するように、フレーム画像取得部１１１、および静止画像生成部１１２の動作を制御して、複数フレームのフレーム画像データから静止画像データを生成する。
また、ＣＰＵ１１は、生成静止画像データをプリンタ２０に印刷させる制御も行う。

ＰＣ１０では、上述したハードウェアを基礎としてバイオスが実行され、その上層にてＯＳとＡＰＬとが実行される。ＯＳには、プリンタＩ／Ｆ１７ｅを制御するプリンタドライバ等の各種のドライバ類が組み込まれ、ハードウェアの制御を実行する。プリンタドライバは、プリンタＩ／Ｆ１７ｅを介してプリンタ２０と双方向の通信を行うことが可能であり、ＡＰＬから画像データを受け取って印刷ジョブを作成し、プリンタ２０に送出する。
以上のようにして、上記ハードウェアと上記ソフトウェアプログラムとが協働して静止画像生成装置を構築する。

Ｂ．処理の概略：
Ｂ−１．処理全体の流れ：
本実施例において、アプリケーションＸは、後述の静止画像生成処理など、種々の処理を行うことが可能である。ユーザが、アプリケーションＸを起動させると、まず、再生する動画ファイルの形式がシーケンシャルアクセス形式か、ランダムアクセス形式かを、選択することができるユーザインターフェイス画面（図示せず）が、ＣＲＴ１８ａに表示される。フレーム画像管理部１１０は、ユーザが指定した動画像ファイル形式に基づいて、各モードへ移行する制御を行う。

シーケンシャルアクセス形式とは、複数のデータが、一定の順番で記録されたデータにアクセスする形式をいう。例えば、デジタルビデオテープに記録された動画像データにアクセスする場合などがこの形式に該当する。フレーム画像管理部１１０は、ユーザが指定した動画像ファイルの形式が、シーケンシャルアクセス形式であれば、シーケンシャルアクセスモードへ移行し、図３に示すシーケンシャルアクセスモードの処理を実行する。図３は、本実施例の一処理であるシーケンシャルアクセスモードについての処理の流れを示すフローチャートである。この時、フレーム画像管理部１１０は、デジタルビデオテープ（図示せず）を記録媒体に持つデジタルビデオカメラ３０へ、アクセス可能な状態に制御する。シーケンシャルアクセスモードについての詳細は、後述する。

ランダムアクセス形式とは、データレコード位置を指定することで、任意のデータレコードにアクセスする形式をいう。例えば、ＤＶＤ−ＲＯＭ１５ａに記録された動画像データにアクセスする場合などがこの形式に該当する。フレーム画像管理部１１０は、ユーザが指定した動画像ファイルの形式が、ランダムアクセス形式であれば、ランダムアクセスモードへ移行し、図４に示すランダムアクセスモードの処理を実行する。図４は、本実施例の一処理であるランダムアクセスモードについての処理の流れを示すフローチャートである。この時、フレーム画像管理部１１０は、ＤＶＤ−ＲＯＭ１５ａが挿入されたＤＶＤドライブ１５へ、アクセス可能な状態に制御する。ランダムアクセスモードについての詳細は、後述する。

なお、本実施例におけるアプリケーションＸは、シーケンシャルアクセスモード中であっても、シーケンシャルアクセスモードを中断し、ランダムアクセスモードへ移行することができる。また、ランダムアクセスモード中であっても、ランダムアクセスモードを中断し、シーケンシャルアクセスモードへ移行することができる。さらに、シーケンシャルアクセスモード若しくはランダムアクセスモード中であっても、適宜アプリケーションＸを終了することができる。これらの場合、フレーム画像管理部１１０が、ユーザからの指示に基づき、各モードの中断、モード間の移行、およびアプリケーションＸの終了の各制御を行う。

Ｂ１−１．シーケンシャルアクセスモード：
図３に示すシーケンシャルアクセスモードの処理を説明する前に、ＣＲＴ１８ａに表示されるプレビュー画面２００について説明する。図５は、本実施例において、ＣＲＴ１８ａに表示されるプレビュー画面２００を示す図である。図５に示すプレビュー画面２００は、プレビューエリア２１０、サムネイル画像表示エリア２２０、ユーザ指示エリア２３０の３つのエリアに分別される。プレビューエリア２１０は、動画像を再生したり、動画像の中から一つのフレーム画像を指定して静止画像として表示する表示領域である。サムネイル画像表示エリア２２０は、後述するサムネイル画像２２１等を表示するエリアである。ユーザ指示エリア２３０には、再生ボタン２３１、停止ボタン２３２、一時停止ボタン２３３、巻き戻しボタン２３４、早送りボタン２３５、フレーム画像取り込みボタン２３６、静止画像生成ボタン２３７の７つのボタンがある。ユーザが、再生ボタン２３１、停止ボタン２３２、一時停止ボタン２３３、巻き戻しボタン２３４、早送りボタン２３５を押すと、それぞれ、プレビューエリア２１０に動画像を、再生させたり、停止させたり、一時停止させたり、巻き戻しさせたり、早送りさせたりすることができる。例えば、ユーザが、マウス１８ｃまたはキーボード１８ｂにより、マウスカーソル２１５を操作して、再生ボタン２３１を押すと、フレーム画像管理部１１０が、ビデオカメラ３０から、動画像データを読み出し、それをプレビューエリア２１０に動画像として表示させることにより、プレビューエリア２１０に動画像が再生される。フレーム画像取り込みボタン２３６、静止画像生成ボタン２３７についての詳細は、後述する。

まず、図３に示すシーケンシャルアクセスモードの処理が実行されると、まず、フレーム画像管理部１１０は、プレビューエリア２１０に、動画像が再生されている状態であるかどうかを判断する（ステップＳ１０５）。動画像が再生されていれば（ステップＳ１０５：ＹＥＳ）、再生されているフレーム画像を順次バッファ１４０にバッファリングさせていく（ステップＳ１１０）。ここで、バッファリングとは、フレーム画像データを一時記憶することをいう。以下にバッファリングの様子を図６を用いて説明する。図６は、本実施例において、動画像データからフレーム画像データをバッファリングするためのバッファ１４０の説明図である。図６に示すように、バッファ１４０は、バッファ領域３０１〜３０４の４つのバッファ領域を備えており、各バッファ領域に１つのフレーム画像データがバッファリングされる。バッファ領域３０１には、フレーム画像管理部１１０により、プレビューエリア２１０に再生されているフレーム画像のフレーム画像データと同じフレーム画像データがバッファリングされるようになっている。この時、バッファリングが行われる前にバッファ領域３０１にバッファリングされていたフレーム画像データは、バッファ領域３０２にシフトしてバッファリングされる。同様に、バッファ領域３０２にバッファリングされていたフレーム画像データは、バッファ領域３０３へ、バッファ領域３０３にバッファリングされていたフレーム画像データは、バッファ領域３０４へシフトしてバッファリングされる。バッファ領域３０４にバッファリングされていたフレーム画像データは、破棄される。このようにして、バッファ領域３０１〜３０４には、時系列的にフレーム画像データがバッファリングされる。なお、このようなバッファリング方式をＦＩＦＯ（または、トンネル・スタック）と言う。なお、バッファ領域３０１にバッファリングされるフレーム画像データは、上述のように、プレビューエリア２１０に再生されているフレーム画像のフレーム画像データと同じフレーム画像データであり、後述する生成静止画像データを生成する場合の合成処理で、複数のフレーム画像データを重ね合わせる時の基準となるフレーム画像データとなるので、以下、基準フレーム画像データとも呼ぶ。
動画像が再生されていなければ、（図３のステップＳ１０５：ＮＯ）、後述するステップＳ１４０の処理へ移行する。

次に、フレーム画像取得部１１１は、フレーム画像取り込み動作が実行されたかどうかを判断する（ステップＳ１１５）。ユーザにより、マウスカーソル２１５が操作され、フレーム画像取り込みボタン２３６が押されると、フレーム画像取得部１１１は、フレーム画像取り込み動作が行われたと判断し（ステップＳ１１５：ＹＥＳ）、バッファ１４０のバッファ領域３０１〜３０４にそれぞれバッファリングされている、４つのフレーム画像データをＲＡＭ１３の作業領域に取り込んで一時的に保存する。また、フレーム画像取得部１１１は、フレーム画像取り込み動作が実行されていないと判断すると（ステップＳ１１５：ＮＯ）、ステップＳ１４０の処理へ移行する。

次に、フレーム画像管理部１１０は、ＲＡＭ１３の作業領域に一時的に保存された４つのフレーム画像データをＨＤＤ１４の所定の領域にファイル名を付して記憶する（ステップＳ１２０）。また、フレーム画像管理部１１０は、ＲＡＭ１３の作業領域に一時的に保存された４つのフレーム画像データのうち、バッファ領域３０１にバッファリングされている基準フレーム画像データの絶対フレーム番号を、デジタルビデオカメラ３０にアクセスして取得する（ステップＳ１２５）。例えば、デジタルビデオテープに記憶された動画像データが有する各フレーム画像データには、絶対フレーム番号を示すヘッダ情報が付加されており、上述のようにフレーム画像管理部１１０は、動画像データからフレーム画像データを、バッファ領域３０１にバッファリングするとともに、バッファリングされたフレーム画像データに該当する絶対フレーム番号をデジタルビデオカメラ３０にアクセスして、同ヘッダ情報から取得するようにしてもよい。なお、絶対フレーム番号とは、本実施例におけるデジタルビデオカメラ３０の記録媒体であるデジタルビデオテープ（図示せず）の最初のフレームから数えた通し番号のことを言う。

次に、フレーム画像管理部１１０は、ＲＡＭ１３の作業領域に一時的に保存された４つのフレーム画像データのうち、基準フレーム画像データを用いて、解像度が８０×６０のビットマップ形式のサムネイル画像データを作成し、例えば、図７がごとく、サムネイル画像表示エリア２２０内にサムネイル画像２２１を表示させる（ステップＳ１３０）。図７は、本実施例において、ユーザが、フレーム画像取り込みボタン２３６を押した場合に、サムネイル画像２２１が生成された状態を表した図である。

続いて、フレーム画像管理部１１０は、ステップＳ１３０の処理で作成したサムネイル画像データなど、取得した４つのフレーム画像データに対する種々の情報を管理するためのデータリスト（以下、データリストとも呼ぶ。）を作成する（図３のステップＳ１３５）。フレーム画像管理部１１０は、作成したデータリストをデータリスト保存領域１１５に保存する。
なお、この処理で作成されるデータリストについての詳細は、後述する。

データリストの作成が終了すると、フレーム画像管理部１１０は、静止画像処理動作が実行されたかどうかを判断する（ステップＳ１４０）。ユーザにより、マウスカーソル２１５が操作されて、サムネイル画像表示エリア２２０内の静止画像生成処理を行うサムネイル画像が指定され、静止画像生成ボタン２３７が押されると、フレーム画像管理部１１０は、静止画像生成処理動作が実行されたと判断し（ステップＳ１４０：ＹＥＳ）、静止画像生成部１１２に、静止画像生成処理（ステップＳ３００）を実行させる。
なお、この静止画像生成処理については、後述する。
フレーム画像管理部１１０は、静止画像処理動作が実行されていないと判断すると（ステップＳ１４０、ＮＯ）、ステップＳ１０５の処理に戻り、上述した処理を繰り返し行う。

Ｂ２−２．ランダムアクセスモード：
一方、図４に示すランダムアクセスモードの処理が実行されると、まず、フレーム画像管理部１１０は、プレビューエリア２１０に表示されている動画像の元動画ファイル名を取得し、ファイル名を付してＲＡＭ１３に保存する（ステップＳ２００）。具体的には、フレーム画像管理部１１０は、ＤＶＤドライブ１５へアクセスし、挿入されているＤＶＤ−ＲＯＭ１５ａから元動画ファイル名を取得する。

次に、フレーム画像管理部１１０は、プレビューエリア２１０に、動画像が再生されている状態であるかどうかを判断する（ステップＳ２０３）。動画像が再生されていれば（ステップＳ２０３：ＹＥＳ）、続いてフレーム画像取得部１１１は、フレーム画像取り込み動作が実行されたかどうかを判断する（ステップＳ２０５）。具体的には、ユーザにより、マウスカーソル２１５が操作され、フレーム画像取り込みボタン２３６が押されると、フレーム画像取得部１１１は、フレーム画像取り込み動作が行われたと判断する（ステップＳ２０５：ＹＥＳ）。この時、フレーム画像取得部１１１は、プレビューエリア２１０に表示されているフレーム画像を表すフレーム画像データと同じフレーム画像データと、そのフレーム画像の直前にプレビューエリア２１０に表示されたと時系列な３つのフレーム画像とを、ＤＶＤドライブ１５に挿入されているＤＶＤ−ＲＯＭ１５ａから取得し、４つのフレーム画像データをＲＡＭ１３の作業領域に一時的に保存する。なお、一時的に保存されたフレーム画像データのうち、プレビューエリア２１０に表示されているフレーム画像のフレーム画像データと同じフレーム画像データは、後述する静止画像生成処理における合成処理で、複数のフレーム画像データを重ね合わせる場合の基準となるフレーム画像データであるので、以下、基準フレーム画像データとも呼ぶ。動画像が再生されていなければ（ステップＳ２０３：ＮＯ）、後述するステップＳ２３０の処理へ移行する。

次に、フレーム画像管理部１１０は、ＲＡＭ１３の作業領域に一時的に保存された４つのフレーム画像データをＨＤＤ１４の所定の領域にファイル名を付して保存する（ステップＳ２１０）。

次に、フレーム画像管理部１１０は、基準フレーム画像データの位置情報を、ＤＶＤドライブ１５へアクセスして取得する（ステップＳ２１５）。例えば、ＤＶＤ−ＲＯＭ１５ａに記憶された動画像データが有する各フレーム画像データには、位置情報を示すヘッダ情報が付加されており、上述のようにフレーム画像管理部１１０は、動画像データからフレーム画像データを取得するとともに、取得したフレーム画像データに該当する位置情報をＤＶＤドライブ１５へアクセスして、同ヘッダ情報から取得する。なお、この位置情報は、ＤＶＤ−ＲＯＭ１５ａにおける絶対フレーム画像番号でも良いし、ＤＶＤ−ＲＯＭ１５ａの中の一つの動画像データにおけるフレーム画像の順番を表す番号でも良い。

位置情報の取得が終了すると、続いて、基準フレーム画像データを用いて、解像度が８０×６０のビットマップ形式のサムネイル画像データを作成し、例えば、図１５がごとく、サムネイル画像表示エリア２２０内にサムネイル画像２２１を表示させる（ステップＳ２２０）。

サムネイル画像の作成が終了すると、フレーム画像管理部１１０は、ステップＳ２２０の処理で作成したサムネイル画像データなど、取得した４つのフレーム画像データに対する種々の情報を入力するデータリストを作成する（ステップＳ２２５）。フレーム画像管理部１１０は、作成したデータリストをデータリスト保存領域１１５に保存する。
なお、この処理で作成されるデータリストについての詳細は、後述する。

データリストの作成が終了すると、フレーム画像管理部１１０は、静止画像処理動作が実行されたかどうかを判断する（ステップＳ２３０）。ユーザにより、マウスカーソル２１５が操作され、サムネイル画像表示エリア２２０内の静止画像生成処理を行うサムネイル画像が指定され、静止画像生成ボタン２３７が押されると、フレーム画像管理部１１０は、静止画像生成処理動作が実行されたと判断し（ステップＳ２３０：ＹＥＳ）、静止画像生成部１１２に、静止画像生成処理（ステップＳ３００）を実行させる。
静止画像生成処理（ステップＳ３００）が終了すると、ステップＳ２００の処理に戻り、以上の処理を繰り返し行う。なお、フレーム画像管理部１１０は、静止画像処理動作が実行されていないと判断すると（ステップＳ２３０：ＮＯ）、ステップＳ２００の処理へ戻り、以上の処理を繰り返し行う。
なお、静止画像生成処理（ステップＳ３００）については、後述する。

Ｂ１−３：データリストの作成
ここで、上述したシーケンシャルアクセスモード（図３）のステップＳ１３５の処理およびランダムアクセスモード（図４）のステップＳ２２５の処理におけるデータリストの作成について図８を用いて説明する。図８は、データリストの説明図であり、（ａ）は、データリストを表し、（ｂ）は、元動画ファイル形式種別番号の内容の説明図であり、（ｃ）は、処理種別番号の内容の説明図である。図８（ａ）において、データリストの左半分は、データリストの種別を表し、データリストの右半分は、その内容を表している。

「フレーム画像取得番号」としては、フレーム画像取り込み動作（シーケンシャルアクセスモード（図３）におけるステップＳ１１５：ＹＥＳ、および、ランダムアクセスモード（図４）におけるステップＳ２０５：ＹＥＳ）を行った回数を示す通し番号が入力される。図８では、例えば、最初のフレーム画像取得処理であるとして、「１」が入力されている。

「元動画ファイル形式種別番号」としては、図８（ｂ）に示すように、上述のフレーム画像取り込み処理の対象となる元動画のファイル形式が、ランダムアクセス形式ならば、「１」を、シーケンシャルアクセス形式ならば、「２」を入力する。図８では、例えば、シーケンシャルアクセス形式であるので、「２」が入力されている。

「元動画ファイル名」としては、元動画ファイル形式がランダムアクセス形式の場合に限って、ランダムアクセスモード（図４）におけるステップＳ２００の処理で取得した、元動画ファイルのファイル名が保存先のパスとともに入力される。図８では、例えば、シーケンシャルアクセス形式なので何も入力されず、「ＮＵＬＬ」の状態である。

「元動画位置」としては、元動画ファイル形式がシーケンシャルアクセス形式の場合は、シーケンシャルアクセスモード（図３）におけるステップＳ１２５の処理で取得した基準フレーム画像の絶対フレーム番号が入力され、元動画ファイル形式がランダムアクセス形式の場合は、ランダムアクセスモード（図４）におけるステップＳ２１５の処理で取得した基準フレーム画像の位置情報が入力される。図８では、例えば「３００」が入力されている。

「サムネイル画像」としては、元動画ファイル形式がシーケンシャルアクセス形式の場合は、シーケンシャルアクセスモード（図３）におけるステップＳ１３０の処理で作成されたサムネイル画像の実データが、元動画ファイル形式がランダムアクセス形式の場合には、ランダムアクセスモード（図４）におけるステップＳ２２０の処理で作成されたサムネイル画像の実データがそれぞれ入力される。

「静止画像１」〜「静止画像４」としては、ＨＤＤ１４の所定領域に保存された４つのフレーム画像データの保存先のパスおよびファイル名が入力される。ファイル名は、通し番号を表したものを付す。

具体的には、元動画ファイル形式がシーケンシャルアクセス形式の場合、シーケンシャルアクセスモード（図３）におけるステップＳ１２０の処理でＨＤＤ１４に保存されたフレーム画像データのうち、静止画像１としては、ステップＳ１１０の処理でバッファ領域３０１にバッファリングされていたフレーム画像データ（つまり基準フレーム画像データ）の保存先のパスおよびファイル名が入力される。同様に、静止画像２としては、バッファ領域３０２に、静止画像３としては、バッファ領域３０３に、静止画像４としては、バッファ領域３０４に、それぞれバッファリングされていたフレーム画像データの保存先のパスおよびファイル名が入力される。

一方、元動画ファイル形式がランダムアクセス形式の場合には、静止画像１としては、ランダムアクセスモード（図４）におけるステップＳ２１０の処理でＨＤＤ１４に保存されたプレビューエリア２１０に表示されているフレーム画像を表すフレーム画像データ（つまり基準フレーム画像データ）の保存先のパスおよびファイル名が入力される。静止画像２〜静止画像４としては、プレビューエリア２１０に基準フレーム画像データが表示された直前に、プレビューエリア２１０に表示された３つの時系列なフレーム画像データの保存先のパスおよびファイル名がそれぞれ入力される。

「処理種別番号」については、後述する静止画像生成処理（図９）におけるステップＳ３５０の処理で説明する。

また、「２フレーム合成の結果」、「４フレーム合成の結果」、「１フレーム合成の結果」については、後述する静止画像生成処理（図９）におけるステップＳ３２５の処理で説明する。

Ｂ１−４．静止画像生成処理：
図９は、本実施例における静止画像生成処理を示すフローチャートである。以下、図９を用いて、静止画像生成処理（ステップＳ３００）について説明する。
ユーザにより、サムネイル画像表示エリア２２０内のサムネイル画像が指定され、静止画像生成ボタン２３７が押されると、フレーム画像管理部１１０は、静止画像生成処理動作を実行されたと判断し（図４のステップＳ２３０：ＹＥＳ）、図１０（ａ）に示す静止画像生成処理別ウィンドウ２０１をポップアップさせて、プレビュー画面２００に重ね合わせるように表示させる。

図１０は、本実施例における静止画像生成処理において、その処理の種別の選択についての説明図である。（ａ）は、静止画像生成処理別ウィンドウ２０１を表し、（ｂ）は、例としての、生成静止画像データの保存先のパスおよび付されたファイル名を入力した場合のデータリストの状態を表している。（ｃ）は、静止画像生成処理別ウィンドウ２０１に生成静止画像を表示した状態を表している。（ａ）に示すように、静止画像生成処理別ウィンドウ２０１では、左側に、上記したプレビューエリア２１０が表示され、その右側に、静止画像生成処理を行った後の生成静止画像が表示される生成静止画像表示エリア２５０が表示され、その下側に、ユーザが指定する処理種別を選択できる処理種別プルダウンリスト２６０が表示され、さらにその右下側に、処理確定ボタン２７０が表示される。

ユーザは、処理種別プルダウンリスト２６０から、合成処理の種別を選択して、指定できるようになっている（図９のステップＳ３０５）。本実施例では、シーケンシャルアクセスモードにおいてステップＳ１２０（図３）で、若しくは、ランダムアクセスモードにおいてステップＳ２１０（図４）で、それぞれ、時系列な４つのフレーム画像データを取り込んだが、このうち、４つのフレーム画像データに基づいて合成処理を行い、高解像度な１つの静止画像データを生成する処理を「４フレーム合成」と呼び、２つのフレーム画像データ（基準フレーム画像データを含む）に基づいて合成処理を行い、高解像度な１つの静止画像データを生成する処理を「２フレーム合成」と呼び、１つのフレーム画像データ（基準フレーム画像）のみから補正処理を行い、１つの静止画像データを生成する処理を「１フレーム合成」と呼ぶ。
なお、「４フレーム合成」の処理については、後ほど詳しく説明する。

ユーザが上述の合成処理の中から処理の種別を指定すると、フレーム画像管理部１１０は、ユーザが指定したサムネイル画像が保存されているデータリストをデータリスト保存領域１３０から読み込み、そのデータリストに従って、ユーザが指定した処理種別に該当する処理が、既に行われているかどうかを判断する（ステップＳ３１０）。この場合、ユーザが指定した処理が、「２フレーム合成」ならば、データリストの「２フレーム合成の結果」に、「４フレーム合成」ならば、「４フレーム合成の結果」に、「１フレーム合成」ならば、「１フレーム合成の結果」に、パスおよびファイル名が、入力されているかどうかで判断する。具体的には、同パスおよびファイル名が入力されていれば、ユーザが指定した処理種別に該当する処理が、既に行われていると判断し（ステップＳ３１０：ＹＥＳ）、同パスおよびファイル名が入力されていなければユーザが指定した処理種別に該当する処理は、まだ行われていないと判断する（ステップＳ３１０：ＮＯ）。

ユーザが指定した処理種別に該当する処理が、行われていない場合には（ステップＳ３１０：ＮＯ）、フレーム画像管理部１１０は、指定された種別の処理を実行し（ステップＳ３１５）、生成された生成静止画像データを、ファイル名を付してＨＤＤ１４の所定の領域に保存する（ステップＳ３２０）。そして、フレーム画像管理部１１０は、その保存先のパスおよび付されたファイル名を、ユーザが指定した処理に基づいて、データリストの「２フレーム合成の結果」若しくは「４フレーム合成の結果」若しくは「１フレーム合成の結果」のいずれか該当する場所に入力する（ステップＳ３２５）。例えば、ユーザが、「４フレーム合成」を指定すると、フレーム画像管理部１１０は、データリストの静止画像１〜静止画像４に入力されているパスおよびファイル名に従って該当するデータを読み出して、これらを用いて、上述した４フレーム合成を行う。そして、フレーム画像管理部１１０は、「４フレーム合成」の処理で生成された生成静止画像データを、ファイル名を付してＨＤＤ１４の所定の領域に保存し、図１０（ｂ）のごとく、生成静止画像データの保存先のパスおよび付されたファイル名を、データリストの「４フレーム合成の結果」に入力する。
その後、フレーム画像管理部１１０は、図１０（ｃ）に示すように、生成静止画像表示エリア２５０にステップＳ３１５の処理において生成された生成静止画像を表示する（ステップＳ３４０）。

ユーザが指定した処理種別が既に行われている場合には（ステップＳ３１０：ＹＥＳ）、フレーム画像管理部１１０は、その指定された処理種別の生成静止画像データを、ユーザが指定したサムネイル画像が保存されているデータリストに基づいて、ＨＤＤ１４から読み込む（ステップＳ３３０）。例えば、ユーザが指定した処理種別が、「４フレーム合成」であって、既にその処理種別が行われている場合は、ユーザが指定したサムネイル画像が保存されているデータリストの「４フレーム合成の結果」にパスおよびファイル名が入力されているので、ＨＤＤ１４からそのパスのファイル名に該当するフレーム画像データを読み込む。フレーム画像管理部１１０は、読み込んだ生成静止画像を、生成静止画像表示エリア２５０に表示する（ステップＳ３４０）。

続いて、フレーム画像管理部１１０は、ユーザにより処理が確定されたかどうかを判断する（ステップＳ３４５）。具体的には、フレーム画像管理部１１０は、処理確定ボタン２７０が押されると、処理が確定したと判断し（ステップＳ３４５、ＹＥＳ）、ユーザにより指定された処理種別（ステップＳ３０５）に基づいて、データリストの処理種別番号（図８（ｃ））に、該当する番号を入力する（ステップＳ３５０）。処理種別番号としては、例えば、ユーザにより指定された処理種別が「２フレーム合成」の場合は、「２」を、「４フレーム合成」の場合には、「４」を、「１フレーム合成」の場合には、「１」を入力する。また、「処理なし」の場合には、「０」を入力する。

処理が確定されると、静止画像生成処理別ウィンドウ２０１は閉じられ、プレビュー画面２００が表示される。この時、フレーム画像管理部１１０は、静止画像生成処理（ステップＳ３００）を行ったサムネイル画像２２１に、ステップＳ３５０の処理で入力された処理種別番号を表示する。例えば、ステップＳ３０５の処理で、ユーザにより指定された処理種別が「４フレーム合成」であった場合には、図１１に示すように、サムネイル画像２２１に、「４フレーム合成」を示す処理種別番号である「４」を表示する。また、ユーザにより指定された処理種別が「２フレーム合成」であった場合には、サムネイル画像２２１に、「２フレーム合成」を示す処理種別番号である「２」を表示し、ユーザにより指定された処理種別が「１フレーム合成」であった場合には、サムネイル画像２２１に、「１フレーム合成」を示す処理種別番号である「１」を表示する。このようにすれば、ユーザは、サムネイル画像を見ただけで、最後に行った処理の種別を知ることができる。フレーム画像管理部１１０は、所定の時間経過しても処理確定ボタン２７０が押されない場合は（ステップＳ３４５：ＮＯ）、静止画像生成処理別ウィンドウ２０１を閉じ、静止画像生成処理（ステップＳ３００）を終了する。

Ｃ．静止画像データ生成の手順：
以下に、上述した静止画像生成処理（ステップＳ３００）における「４フレーム合成」処理によって、比較的高解像度な１つの静止画像データを生成する手順について説明する。

Ｃ１．フレーム画像データの取り込み：
フレーム画像管理部１１０は、上述の静止画像生成処理（図９）におけるステップＳ３１５で、「４フレーム合成」を行う場合には、４つのフレーム画像データとして、データリストの静止画像１〜４に入力されたパスおよびファイル名に該当するフレーム画像データをＨＤＤ１４から適宜ＲＡＭ１３に取り込むことにより、４フレーム合成を行う。

なお、フレーム画像データは、ドットマトリクス状の各画素の階調データ（以下、「画素データ」とも呼ぶ。）で構成されている。画素データは、Ｙ（輝度）、Ｃｂ(ブルーの色差)、Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等である。

次に、４フレーム合成が開始されると、まず、フレーム画像管理部１１０の制御に基づいて静止画像生成部１１２は、上述の４つのフレーム画像間において発生している「ずれ」を補正するための補正量の推定を実行する。なお、ここでいう「ずれ」とは、撮影対象物自体の動きなどに起因するものではなく、いわゆるパンと呼ばれるカメラワークや、「手ぶれ」のように、ビデオカメラの向きの変化のみに起因するものであるとする。本実施例では、フレーム画像間において、全ての画素が同じ量だけずれるようなずれを想定している。この補正量の推定では、上述の４つのフレーム画像のうち、１つが基準フレーム画像として選択され、その他の３つが対象フレーム画像として選択される。そして、各対象フレーム画像について、基準フレーム画像に対するずれを補正するための補正量が、それぞれ推定される。なお、本実施例では、上述したように読み出された４つのフレーム画像データのうち、データリストの静止画像１に入力されたパスおよびファイル名に該当するフレーム画像データが表す画像が基準フレーム画像となる。また、上述したように読み出された４つのフレーム画像データのうち、データリストの静止画像２〜４に入力されたパスおよびファイル名に該当するフレーム画像データが表す画像が対象フレーム画像となる。

そして、静止画像生成部１１２は、読み出した４フレーム画像データを、求められた補正量の補正を施して合成し、複数のフレーム画像データから静止画像データを生成する。以下、補正量推定処理および合成処理について、図１２および図１３を用いて説明する。

Ｃ２．補正量推定処理：
図１２は、基準フレームのフレーム画像と対象フレームのフレーム画像との間のずれについて示す説明図である。また、図１３は、対象フレーム画像と基準フレーム画像との間のずれの補正について示す説明図である。

なお、以下の説明では、読み出した４つのフレーム画像にＦ０、Ｆ１、Ｆ２、Ｆ３を付し、それぞれフレーム画像Ｆ０、フレーム画像Ｆ１、フレーム画像Ｆ２、フレーム画像Ｆ３と呼ぶ。このとき、フレーム画像Ｆ０を基準フレーム画像とも呼び、フレーム画像Ｆ１〜Ｆ３を対象フレーム画像とも呼ぶこととする。

図１２および図１３では、対象フレーム画像Ｆ１〜Ｆ３のうち、対象フレーム画像Ｆ３を代表例として、この対象フレーム画像における基準フレーム画像Ｆ０に対するずれ、およびこのずれの補正について説明する。

画像のずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。図１２では、基準フレーム画像Ｆ０に対する、対象フレーム画像Ｆ３のずれ量を分かり易く示すため、基準フレーム画像Ｆ０の縁と、対象フレーム画像Ｆ３の縁とを重ねて示すとともに、基準フレーム画像Ｆ０上の中心位置に仮想の十字画像Ｘ０を追記し、この十字画像Ｘ０が、対象フレーム画像Ｆ３と同様にずれたとして、対象フレーム画像Ｆ３上に、ずれた結果の画像である十字画像Ｘ３を示すようにしている。更に、このずれ量を、より分かり易く示すために、基準フレーム画像Ｆ０、および十字画像Ｘ０を太い実線で示すとともに、対象フレーム画像Ｆ３、および十字画像Ｘ３を細い破線で示すようにしている。

本実施例では、並進ずれ量として横方向を「ｕｍ」、縦方向を「ｖｍ」と表記し、回転ずれ量を「δｍ」と表記し、対象フレーム画像Ｆａ（ａは、１〜３の整数）についてのずれ量を「ｕｍａ」、「ｖｍａ」、「δｍａ」と表記することとする。例えば、図１２に示すように、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して、並進ずれ、および回転ずれが生じており、そのずれ量は、ｕｍ３、ｖｍ３、δｍ３と表される。

ここで、対象フレーム画像Ｆ１〜Ｆ３を基準フレーム画像Ｆ０と合成するためには、対象フレーム画像Ｆ１〜Ｆ３が基準フレーム画像Ｆ０とのずれをなくすように、対象フレーム画像Ｆ１からＦ３の各画素の位置を補正することとなる。このために用いられる並進補正量として横方向を「ｕ」、縦方向を「ｖ」、回転補正量を「δ」と表記する。そして、対象フレーム画像Ｆａ（ａは、１〜３の整数）についての補正量を「ｕａ」、「ｖａ」、「δａ」と表記することとすると、これらの補正量ｕ、ｖ、δは、上述のずれ量ｕｍ、ｖｍ、δｍに対して、ｕ＝−ｕｍ、ｖ＝−ｖｍ、δ＝−δｍの関係で表される。また、フレームａの対象フレーム画像Ｆａについての補正量ｕａ、ｖａ、δａは、ｕａ＝−ｕｍａ、ｖａ＝−ｖｍａ、δａ＝−δｍａの関係で表される。例えば、対象フレーム画像Ｆ３についての補正量ｕ３、ｖ３、δ３は、ｕ３＝−ｕｍ３、ｖ３＝−ｖｍ３、δ３＝−δｍ３で表される。

図１３に示すように、補正量ｕ３、ｖ３、δ３を用いて、対象フレーム画像Ｆ３を補正することにより、対象フレーム画像Ｆ３と基準フレーム画像Ｆ０とのずれをなくすことができる。ここで、補正とは、フレーム画像Ｆ３の各画素の位置を、横方向にｕ３の移動、縦方向にｖ３の移動、およびδ３の回転を施した位置に移動させることを意味する。このとき、補正後の対象フレーム画像Ｆ３と、基準フレーム画像Ｆ０と、をＣＲＴ１８ａで表示させると、図１３に示すように、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して部分一致すると推定される。なお、この補正の結果を分かり易く示すため、図１３においても、図１２と同じ仮想の十字画像Ｘ０、および十字画像Ｘ３を表記しており、図１３に示すように、補正の結果、十字画像Ｘ３は、十字画像Ｘ０と一致することとなる。

なお、上述の「部分一致する」とは、以下のことを意味するものである。すなわち、図１３に示すように、例えば、ハッチングを施した領域Ｐ１は、対象フレーム画像Ｆ３にのみ存在する領域の画像であり、基準フレーム画像Ｆ０には、該当する領域の画像は存在しない。このように、上述の補正を行ったとしても、ずれに起因して、基準フレーム画像Ｆ０にのみ、または、対象フレーム画像Ｆ３にのみ存在する領域の画像が生じてしまうため、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して完全一致することはなく、部分一致することとなる。

同様に、対象フレーム画像Ｆ１，Ｆ２についても、補正量ｕ１、ｖ１、δ１、およびｕ２、ｖ２、δ２、の各値を用いて補正を施すことにより、対象フレーム画像Ｆ１、Ｆ２の各画素の位置を置き換えることができる。

なお、各対象フレーム画像Ｆａ（ａは、１〜３の整数）についての補正量ｕａ、ｖａ、δａは、フレーム画像管理部１１０において、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１〜Ｆ３の画像データに基づき、パターンマッチ法や勾配法等による所定の算出式を用いて、推定量として算出され、並進補正量データと回転補正量データとしてＲＡＭ１３内の所定の領域に記憶される。

Ｃ３．合成処理：
補正量推定が終了すると続いて、静止画像生成部１１２において合成処理が実行される。静止画像生成部１１２は、まず、補正量推定処理で算出された補正量の各パラメータをもとに対象フレーム画像データの補正を行う（図１３）。次に、静止画像生成部１１２は、最近傍画素決定を実行する。

図１４は、本実施例における、最近傍画素決定を示す説明図である。対象フレーム画像の補正の結果、基準フレーム画像Ｆ０、および対象フレーム画像Ｆ１〜Ｆ３は、部分一致することとなるが、図１４では、この部分一致した画像の一部を拡大し、各フレーム画像の画素の位置関係を示している。図１４では、生成予定の高画質化された高解像度画像（生成静止画像）Ｇの各画素が黒丸で示されているとともに、基準フレーム画像Ｆ０の各画素が白抜きの四辺形で示され、補正後の対象フレーム画像Ｆ１〜Ｆ３の各画素が、ハッチングを施した四辺形で示されている。なお、本実施例では、生成静止画像Ｇは、元となる基準フレーム画像Ｆ０に対して、１．５倍密の画素密度に高解像度化されるものとする。図１４に示すように、生成静止画像Ｇの各画素間の距離は、基準フレーム画像Ｆ０の各画素間の距離の２／３となっている。また、生成静止画像Ｇの各画素は、２画素おきに基準フレーム画像Ｆ０の各画素に重なるような位置にあるものとする。ただし、生成静止画像Ｇの画素は、必ずしも基準フレーム画像Ｆ０の各画素に重なるように位置している必要はない。例えば、生成静止画像Ｇの各画素のすべてが、基準フレーム画像Ｆ０の各画素の中間に位置するものでもよく、種々の位置とすることが可能である。さらに、高解像度化の倍率も、縦横１．５倍密に限定されるものでもなく、種々の倍率とすることもできる。

今、生成静止画像Ｇ内のｊ番目の画素Ｇ（ｊ）に注目して、まず、この画素（以下、「注目画素」と呼ぶ。）Ｇ（ｊ）と、この注目画素Ｇ（ｊ）に最も近い基準フレーム画像Ｆ０の画素と、の距離Ｌ０を算出する。ここで、生成静止画像Ｇの画素間距離は、上述のように、元となる基準フレーム画像Ｆ０の画素間距離に対して、２／３となっているので、注目画素Ｇ（ｊ）の位置は、基準フレーム画像Ｆ０の位置から算出することができる。従って、基準フレーム画像Ｆ０の位置と注目画素Ｇ（ｊ）の位置から、距離Ｌ０を算出することができる。

引き続き、注目画素Ｇ（ｊ）と、この注目画素Ｇ（ｊ）に最も近い補正後の対象フレーム画像Ｆ１の画素と、の距離Ｌ１を算出する。上述のように、注目画素Ｇ（ｊ）の位置は、基準フレーム画像Ｆ０の位置から算出でき、また、補正後の対象フレーム画像Ｆ１の画素の位置は、上述の補正量推定処理において算出されているので、距離Ｌ１を算出することができる。以下、同様にして、注目画素Ｇ（ｊ）と、この注目画素Ｇ（ｊ）に最も近い補正後の対象フレーム画像Ｆ２の画素と、の距離Ｌ２、および、注目画素Ｇ（ｊ）と、この注目画素Ｇ（ｊ）に最も近い補正後の対象フレーム画像Ｆ３の画素と、の距離Ｌ３を算出する。

次に、距離Ｌ０〜Ｌ３が互いに比較され、注目画素Ｇ（ｊ）に最も近い距離にある画素（以下、「最近傍画素」と呼ぶ。）が決定される。本実施例では、図１４に示すように、距離Ｌ３にある画素が、注目画素Ｇ（ｊ）に最も近い画素となっているので、補正後の対象フレーム画像Ｆ３の画素が、注目画素Ｇ（ｊ）の最近傍画素として決定されることとなる。なお、この画素Ｇ（ｊ）に対する最近傍画素が、補正後の対象フレーム画像Ｆ３のｉ番目の画素であったとして、以下、最近傍画素Ｆ（３，ｉ）と表記する。
そして、以上の手順が、ｊ＝１、２、３...と、生成静止画像Ｇ内の全ての画素について実行され、それぞれの画素について、最近傍画素が決定されることとなる。

次に、静止画像生成部１１２は、最近傍画素決定に続き、画素補間を実行する。図１５は、本実施例における、バイ・リニア法を用いた画素補間を説明する説明図である。上述の注目画素Ｇ（ｊ）は画素補間前には、階調データが存在しないので、その階調データを、他の画素の階調データから補間する処理を行う。

この補間処理において用いられる階調データを、最近傍画素Ｆ（３，ｉ）とともに、注目画素Ｇ（ｊ）を囲むように位置する、補正後の対象フレーム画像Ｆ３上の３つの画素を特定し、これら画素の階調データと、最近傍画素Ｆ（３，ｉ）の階調データと、を用いるものとする。本実施例では、図１４に示すように、注目画素Ｇ（ｊ）の最近傍画素Ｆ（３，ｉ）の他、注目画素Ｇ（ｊ）を囲む、画素Ｆ（３，ｊ）、画素（３，ｋ）、画素（３，ｌ）の階調データを用いて、バイ・リニア法により、注目画素Ｇ（ｊ）の階調データを求めるものとする。

なお、補間方法については、バイ・リニア法の他、バイ・キュービック法、およびニアレストネイバ法等、様々な方法を用いることができるが、少なくとも、より注目画素Ｇ（ｊ）に近い画素の階調データを、より反映するような補間処理方法を用いるものとする。更に、その補間処理方法において用いる階調データについては、上述のように最近傍画素とともに、注目画素Ｇ（ｊ）を囲むように位置する画素の階調データを用いるものとする。このようにすることで、注目画素に最も近い最近傍画素の階調データを最も反映し、かつ、この最近傍画素に近い画素の階調データを使用して補間を行うこととなり、実物の色彩に近い値に階調データを定めることができる。

以上のようにして、静止画像生成部１１２は、静止画像生成処理（図９、ステップＳ３００）における「４フレーム合成」処理を行い、上述のように読み出した４つのフレーム画像データから、１つの静止画像データを生成する。

なお、上述した静止画像生成処理（図９、ステップＳ３００）において、「２フレーム合成」処理によって、静止画像データを生成する場合には、フレーム画像管理部１１０は、データリストの静止画像１および２に入力されたパスおよびファイル名に該当する、２つのフレーム画像データ（基準フレーム画像データを含む）をＨＤＤ１４から適宜ＲＡＭ１３に読み出し、上述のように補正量推定処理、合成処理を行い、高解像度な１つの静止画像データを生成する。

また、上述した静止画像生成処理（図９、ステップＳ３００）において、「１フレーム合成」処理によって、静止画像データを生成する場合には、フレーム画像管理部１１０は、データリストの静止画像１に入力されたパスおよびファイル名に該当する基準フレーム画像データをＨＤＤ１４から適宜ＲＡＭ１３に読み出し、バイ・リニア法、バイ・キュービック法、もしくは、ニアレストネイバ法等の画素補間方法を用いて、高解像度な１つの静止画像データを生成する。

Ｄ．効果：
以上のように、本実施例では、デジタルビデオカメラ３０もしくは、ＤＶＤ−ＲＯＭドライブ１５が出力する動画像データから４つのフレーム画像データを取得して、ＨＤＤ１４に保存している。このため、合成処理を複数のフレーム画像データを用いて行う場合に、その複数のフレーム画像データを、改めて、デジタルビデオカメラ３０もしくは、ＤＶＤ−ＲＯＭドライブ１５が出力する動画像データから取得する必要がなく、その保存した複数のフレーム画像データを用いて、静止画像データを生成することができるため、その分、合成処理を行う処理時間を短縮することができる。

また、デジタルビデオカメラ３０からシーケンシャルアクセス形式で出力される動画像データから、時系列な４つの動画像データを取り込むためには、フレーム画像取得部１１１は、動画像データを再生して１つのフレーム画像データを取り込む、という作業を４回繰り返すことが考えられる。しかし、本実施例では、シーケンシャルアクセスモード（図３）において、バッファ１４０のバッファ領域３０１〜３０４に、プレビューエリア２１０に再生されている動画像データから時系列的にフレーム画像データをバッファリングし、ユーザによりフレーム画像取り込みボタン２３６が押された際には、そのバッファリングしたフレーム画像データを取り込むようにしている。このため、フレーム画像取得部１１１は、動画像データを再生して１つのフレーム画像データを取り込む、という作業を４回繰り返すことなく、時系列な４つのフレーム画像を取り込むことができるので、静止画像データ生成のための処理時間を短縮することができる。

本実施例では、フレーム画像管理部１１０は、上述のように、ユーザが指定した種別の処理（図９、ステップＳ３１５）で静止画像データが生成されると、その静止画像データをＨＤＤ１４にファイル名を付けて保存するとともに、データリストにファイル名を入力する。そして、再度同じフレーム画像を用いて同じ種別の処理を行う場合には、データリストに従って、ＨＤＤ１４に保存されている静止画像データを読み出して、生成静止画像表示エリア２５０に表示する。このようにすれば、フレーム画像管理部１１０は、再度同じ種別の処理を行う必要がないので、処理時間を短縮することができる。

フレーム画像管理部１１０は、上述のようにサムネイル画像に、処理種別番号を表示するようにしている。このようにすれば、ユーザは、サムネイル画像を見ただけで、最後に行った合成処理の種別を知ることができる。また、本発明はこれに限られず、最後に行った合成処理の処理種別を表すものとして、所定の記号をサムネイル画像に表示するようにしてもよい。例えば、最後に行った合成処理が、「１フレーム合成」ならば丸印を、「２フレーム合成」ならば三角印を、「４フレーム合成」ならば四角印を、サムネイル画像に表示するようにしてもよい。さらに、本発明は、これに限られず、サムネイル画像に所定の情報を表示するようにしてもよい。また、所定の情報の表示方法として、吹き出しを用いてもよい。例えば、図１６に示すがごとく、サムネイル画像表示エリア２２０内に作成されているサムネイル画像２２１にマウスカーソル２１５を重ねると、所定の情報を表示する吹き出しを表示することも可能である。ここでは、所定の情報として、元動画位置、処理種別の内容等を吹き出し２２９に表示させている。このようにすれば、サムネイル画像にマウスカーソル２１５を重ねるだけで、ユーザは、元動画位置、過去に行った処理種別の内容などの所定の情報を、知ることができる。

また、フレーム画像管理部１１０は、シーケンシャルアクセスモード（図３）におけるステップＳ１２５の処理で、取得した基準フレーム画像の絶対フレーム番号を保存しているので、以下の頭出し処理を行うことができる。
図１７は、本実施例における絶対フレーム番号を用いた頭出し処理の説明図である。今、図１７（ａ）に示すように、プレビュー画面２００のサムネイル画像表示エリア２２０内には、サムネイル画像２２１とサムネイル画像２２２が表示されており、プレビューエリア２１０には、サムネイル画像２２１およびサムネイル画像２２２の表す画像とは異なるフレーム画像が表示されているものとする。

そこで、ユーザが、頭出しを行いたいサムネイル画像を指定すると、そのサムネイル画像が保存されているデータリストを読み出し、そのデータリストの「元動画位置」に入力されている絶対フレーム番号を取得する。さらに、フレーム画像管理部１１０は、デジタルビデオカメラ３０にアクセスし、取得した絶対フレーム番号に基づく位置にあるフレーム画像のところまで、デジタルビデオテープ（図示せず）を巻き戻し、若しくは早送りする。その結果、図１７（ｂ）に示すように、上記の絶対フレーム番号に基づく位置にあるフレーム画像をプレビューエリア２１０に表示することができる。さらには、その位置から動画像を再生、早送り、巻き戻し等をすることできるので、その位置の周辺にあるフレーム画像データを再び、取得することができる。

フレーム画像管理部１１０は、ランダムアクセスモード（図４）におけるステップＳ２１５の処理で、取得した基準フレーム画像の位置情報を保存しているので、頭出し処理を行うことができる。具体的には、フレーム画像管理部１１０は、ユーザが、頭出しを行いたいサムネイル画像を指定すると、そのサムネイル画像が保存されてあるデータリストをデータリスト保存領域１３０から読み出す。そして、フレーム画像管理部１１０は、そのデータリストの「元動画位置」に入力されている位置情報を取得する。さらに、フレーム画像管理部１１０は、ＤＶＤ−ＲＯＭドライブ１５にアクセスし、取得した位置情報に基づく位置にあるフレーム画像を取得する。その結果、位置情報に基づく位置にあるフレーム画像をプレビューエリア２１０に表示することができる。さらには、その位置から動画像を再生、早送り、巻き戻し等をすることができるので、その位置の周辺にあるフレーム画像データを再び、取得することができる。

フレーム画像管理部１１０は、上述のシーケンシャルアクセスモード（図３）におけるステップＳ１２５の処理で取得する基準フレーム画像の絶対フレーム番号または、上述のランダムアクセスモード（図４）におけるステップＳ２１５の処理で取得する基準フレーム画像の位置情報を保存しているので、サムネイル画像表示エリア２２０内に複数のサムネイル画像が表示されている場合に、それらの複数のサムネイル画像を、上記の絶対フレーム番号や位置情報に基づいて、時系列にソーティングすることができる。
通常、サムネイル画像表示エリア２２０内には、各サムネイル画像は、そのサムネイル画像が作成された順序で表示されており、各サムネイルに対応する画像が動画像データ内において、それぞれ、時間的にどのような位置関係にあるかを、ユーザはすぐには把握することができない。そこで、ユーザが、サムネイル画像についてソーティング実行指示を出すと、フレーム画像管理部１１０は、サムネイル画像表示エリア２２０内にあるサムネイル画像について、それらのサムネイル画像が保存されているデータリストを、データリスト保存領域１３０から読み出し、それらのデータリストの「元動画位置」に入力されている数値に基づいて、ソーティングを行う。このようにすれば、ユーザは、サムネイル画像表示エリア２２０内のサムネイル画像を、時系列に従った順序で表示することができる。

（２）．変形例：
なお、本発明では、上記した実施の形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。

上記実施例では、バッファ１４０におけるバッファリング方式は、ＦＩＦＯ方式を採用しているが、本発明は、これに限られるものではない。例えば、バッファ１４０は、リングバッファとなっていてもよい。この場合には、バッファ１４０において、プレビューエリア２１０に再生されているフレーム画像を、時系列的に一番古いフレーム画像がバッファリングされたバッファ領域（図示せず）に順次上書きしてバッファリングするようにしてもよい。また、上記実施例におけるバッファ部１４０は、ＲＡＭ１３の所定の領域に設けられていてもよい。

上記実施例では、デジタルビデオカメラ３０または、ＤＶＤ−ＲＯＭドライブ１５から、動画像データを読み出し、その動画像データが有する複数のフレーム画像データを取得して、バッファ部１４０、ＲＡＭ１３またはＨＤＤ１４などに保存しているが、本発明はこれに限られることはない。ＰＣ１０に接続されたＭＯ、ＣＤ−Ｒ／ＲＷ、ＤＶＤ、および磁気テープ等の記録媒体から、動画像データを読み出し、その動画像データが有する複数のフレーム画像データを取得して、バッファ部１４０、ＲＡＭ１３またはＨＤＤ１４などに保存してもよい。また、動画像データがＨＤＤ１４に記憶されていて、その動画像データを読み出し、その動画像データが有する複数のフレーム画像データを取得して、バッファ部１４０、ＲＡＭ１３またはＨＤＤ１４などに保存してもよい。

上記実施例の静止画像生成システムにおいて、取得するフレーム画像は、取得指示の入力タイミングから時系列的に連続する２フレーム若しくは４フレームのフレーム画像データを取得するものとしているが、本発明は、これに限られるものではない。取得するフレーム画像は、３フレーム若しくは、５フレーム以上のフレーム画像データを取得してもよい。この場合には、取得したフレーム画像データの一部または、全部を用いて比較的高解像度な静止画像データを生成する処理を行ってもよい。

上記実施例では、動画像データの中から、時系列に連続した複数のフレーム画像データを取得して、それらを合成することにより、１つの高解像度な静止画像データを生成する場合を説明しているが、本発明はこれに限られるものではない。動画像データの中から、時系列に並んだ複数のフレーム画像データを取得して、それらを合成することにより、１つの高解像度な静止画像データを生成してもよい。また、単に、時系列に連続する複数の画像データの中から、時系列に並んだ複数の画像データを取得し、それらを合成することにより、１つの高解像度の画像データを生成してもよい。なお、時系列に連続する複数の画像データとしては、例えば、デジタルカメラで連写された複数の画像データなどが考えられる。

上記実施例では、静止画像生成装置として、パーソナルコンピュータ（ＰＣ）を採用しているが、本発明はこれに限られるものではない。上述の静止画像生成装置がビデオカメラ、デジタルカメラ、プリンタ、ＤＶＤプレーヤ、ビデオテーププレーヤ、ハードディスクプレーヤ、カメラ付き携帯電話などに内蔵されてもよい。特に、ビデオカメラを本発明の静止画像生成装置した場合には、動画像を撮影しながら、撮影した動画像の動画像データに含まれる複数のフレーム画像データから１つの高解像度な静止画像データを生成することが可能となる。また、デジタルカメラを本発明の静止画像生成装置とした場合にも、被写体を連写しながら、あるいは、連写した結果を確認しながら、複数の撮像画像データから１つの高解像度な静止画像データを生成することができる。

上記実施例では、比較的低解像度の画像データとして、フレーム画像データを例に用いて説明したが、本発明は、これに限られるものではない。例えば、フレーム画像データの代わりにフィールド画像データを用いて、上述した処理を行ってもよい。なお、フィールド画像データが表すフィールド画像は、インターレース方式において、ノンインターレース方式のフレーム画像に相当する画像を構成する奇数フィールドの静止画像と偶数フィールドの静止画像を意味している。

本発明の一実施例である静止画像生成システム１００の概略構成を示している。 本実施例の静止画像生成システムにおけるＣＰＵ１１およびＲＡＭ１３の機能を示すブロック図である。 本実施例の一処理であるシーケンシャルアクセスモードについての処理の流れを示すフローチャートである。 本実施例の一処理であるランダムアクセスモードについての処理の流れを示すフローチャートである。 本実施例においてＣＲＴ１８ａに表示されるプレビュー画面２００を示す図である。 本実施例におけるバッファ１４０の説明図である。 本実施例においてユーザがフレーム画像取り込みボタン２３６を押した場合にサムネイル画像２２１が生成された状態を表した図である。 本実施例におけるデータリストの説明図である。 本実施例における静止画像生成処理を示すフローチャートである。 本実施例における静止画像生成処理においてその処理の種別の選択についての説明図である。 サムネイル画像に処理種別番号が入力された状態を表した図である。 基準フレームのフレーム画像と対象フレームのフレーム画像との間のずれについて示す説明図である。 対象フレーム画像と基準フレーム画像との間のずれの補正について示す説明図である。 本実施例における最近傍画素決定を示す説明図である。 本実施例におけるバイ・リニア法を用いた画素補間を説明する説明図である。 サムネイル画像に吹き出しが表示された状態を表した図である。 本実施例における絶対フレーム番号を用いた頭出し処理の説明図である。

符号の説明

１０...パーソナルコンピュータ
１０ａ...システムバス
１８ａ...ディスプレイ
１８ｂ...キーボード
１８ｃ...マウス
２０...プリンタ
３０...ビデオカメラ
３０...デジタルビデオカメラ
４０...フレーム画像取得部
５０...画像処理部
１００...静止画像生成システム
１１０...フレーム画像管理部
２２０...サムネイル画像表示エリア
２３０...ユーザ指示エリア
２２１...サムネイル画像
２３１...再生ボタン
２３２...停止ボタン
２３３...一時停止ボタン
２３５...ボタン
２３６...フレーム画像取得ボタン
２３７...静止画像生成ボタン
２３４...ボタン
２１５...マウスカーソル
１１０...フレーム画像管理部
３０１〜３０４...バッファ領域
１１１...フレーム画像取得部
１１２...静止画像生成部
１３０...データリスト保存領域
１４０...バッファ
２５０...生成静止画像表示エリア
２６０...処理種別プルダウンリスト
２７０...処理確定ボタン
２２２...サムネイル画像
２００...プレビュー画面
２１０...プレビューエリア
ＡＰＬ...アプリケーションプログラム
１７a〜e...各種インターフェイス
Ｆ０...基準フレーム画像
Ｆ１...対象フレーム画像
Ｆ２...対象フレーム画像
Ｆ３...対象フレーム画像
Ｇ（ｊ）...注目画素
Ｘ０...十字画像
Ｘ３...十字画像

Claims (13)

1. 複数の画像データから静止画像データを生成するための静止画像生成装置であって、
   前記複数の画像データから、時系列に並んだ複数の第１の画像データを取得する画像取得部と、
   前記画像取得部で取得した前記複数の第１の画像データを保存する画像保存部と、
   前記画像保存部に保存されている前記複数の第１の画像データから、各画像データの表す画像間の位置ずれを補正するための補正量を推定する補正量推定部と、
   推定した前記補正量に基づいて、前記複数の第１の画像データにおける前記画像間の位置ずれを補正するとともに、補正した前記複数の第１の画像データを合成して、前記第１の画像データに比べて高解像度な第２の画像データを前記静止画像データとして生成する画像合成部と、
   を備えたことを特徴とする静止画像生成装置。
2. 前記複数の画像データは、動画像データを構成する複数の画像データであることを特徴とする請求項１に記載の静止画像生成装置。
3. 画像データ取り込みを指示された際に、前記画像取得部は、前記複数の画像データから前記複数の第１の画像データを取得し、前記画像保存部は、取得した前記複数の第１の画像データを保存することを特徴とする請求項１または請求項２に記載の静止画像生成装置。
4. 前記画像取得部は、前記複数の画像データから前記第１の画像データを順次取得すると共に、前記画像保存部は、保存している前記複数の第１の画像データを、取得した前記第１の画像データで順次更新し、
   画像データ取り込みを指示された際に、前記画像保存部は、保存している前記複数の第１の画像データを保持することを特徴とする請求項１または請求項２に記載の静止画像生成装置。
5. 前記画像保存部は、前記複数の第１の画像データの他に、前記画像合成部で生成された前記第２の画像データも保存することを特徴とする請求項１ないし請求項４のいずれかに記載の静止画像生成装置。
6. 前記画像合成部が、補正した前記複数の第１の画像データを合成して前記第２の画像データを生成する際に、複数種類の合成方法を選択的にとりうる場合に、
   前記画像保存部は、異なる種類の合成方法で合成された前記第２の画像データを、合成方法の種類ごとに、それぞれ保存することを特徴とする請求項５に記載の静止画像生成装置。
7. 補正した前記複数の第１の画像データについて、一度合成したことのある合成方法と同じ種類の合成方法で再度合成することを指示された場合に、前記画像合成部は、補正した前記複数の第１の画像データの合成を行うことなく、前記画像保存部から、前記同じ種類の合成方法ですでに合成されている前記第２の画像データを読み出すことを特徴とする請求項６に記載の静止画像生成装置。
8. 前記画像保存部は、前記複数の第１の画像データの他に、取得した前記複数の第１の画像データのうちの少なくとも１つの画像データの、前記複数の画像データにおける時間的な位置を表す位置情報を保存することを特徴とする請求項１ないし請求項７のいずれかに記載の静止画像生成装置。
9. 前記画像合成部から生成される前記第２の画像データからサムネイル画像データを作成するサムネイル画像作成部と、
   少なくとも前記サムネイル画像データの表すサムネイル画像を表示する画像表示部と、を備え、
   前記画像表示部は、前記サムネイル画像を、前記サムネイル画像に対応する前記第２の画像データに関連する所定の情報とともに表示することを特徴とする請求項１ないし請求項８のいずれかに記載の静止画像生成装置。
10. 前記画像合成部が、補正した前記複数の第１の画像データを合成して前記第２の画像データを生成する際に、複数種類の合成方法を選択的にとりうる場合に、
    前記所定の情報は、前記サムネイル画像に対応する前記第２の画像データを生成する際に用いた合成方法を表す情報であることを特徴とする請求項９に記載の静止画像生成装置。
11. 複数の画像データから静止画像データを生成するための静止画像生成方法であって、
    前記複数の画像データから、時系列に並んだ複数の第１の画像データを取得する画像取得工程と、
    前記画像取得工程で取得した前記複数の第１の画像データを保存する画像保存工程と、
    前記画像保存工程に保存されている前記複数の第１の画像データから、各画像データの表す画像間の位置ずれを補正するための補正量を推定する補正量推定工程と、
    推定した前記補正量に基づいて、前記複数の第１の画像データにおける前記画像間の位置ずれを補正するとともに、補正した前記複数の第１の画像データを合成して、前記第１の画像データに比べて高解像度な第２の画像データを前記静止画像データとして生成する画像合成工程と、
    を備えたことを特徴とする静止画像生成方法。
12. 複数の画像データから静止画像データを生成するための静止画像生成プログラムであって、
    前記複数の画像データから、時系列に並んだ複数の第１の画像データを取得する画像取得機能と、
    前記画像取得機能で取得した前記複数の第１の画像データを保存する画像保存機能と、
    前記画像保存機能に保存されている前記複数の第１の画像データから、各画像データの表す画像間の位置ずれを補正するための補正量を推定する補正量推定機能と、
    推定した前記補正量に基づいて、前記複数の第１の画像データにおける前記画像間の位置ずれを補正するとともに、補正した前記複数の第１の画像データを合成して、前記第１の画像データに比べて高解像度な第２の画像データを前記静止画像データとして生成する画像合成機能と、
    をコンピュータ上で実現することを特徴とする静止画像生成プログラム。
13. 請求項１２に記載の静止画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images