JP2005141614A - 低解像度の複数の画像に基づく高解像度の画像生成における処理時間の短縮化 - Google Patents

Abstract

【課題】 複数の低解像度の画像から高解像度の画像を生成する場合における処理時間を実効的に短くする。
【解決手段】 複数の第１の画像に対して所定の高解像度化処理を行って第２の画像を生成する。まず、時系列に並ぶ複数の画像の中から、あらかじめ指定された基準画像に基づいて、前記基準画像を含む前記複数の第１の画像を取得する。次に、前記複数の第１の画像に対し、あらかじめ指定された所定の条件に基づいて所定の部分範囲を設定する。次に、設定された前記所定の部分範囲に対して前記所定の高解像度化処理を行うことにより、前記所定の部分範囲に対応する前記第２の画像の部分を生成する。前記第２の画像の部分を生成後に前記第２の画像の生成指示が与えられた場合、前記複数の第１の画像の全範囲に対して前記所定の高解像度化処理を行うことにより前記第２の画像の全部を生成する。
【選択図】 図２

Description

本発明は、複数の低解像度の画像から高解像度の画像を生成する技術に関するものである。

従来、ディジタルビデオカメラ等（以下、単に「ビデオカメラ」とも呼ぶ。）で撮影された動画像を再生してその１シーンをキャプチャし、キャプチャした１フレームの画像（以下、「フレーム画像」とも呼ぶ。）よりも高解像度の画像を生成し、生成した画像をプリンタで印刷することが行われている。ここで、解像度とは、１枚の画像を構成する画素の密度あるいは画素数を意味している。

このような高解像度の画像の生成方法としては、複数の低解像度の画像を重ね合わせて合成することによって生成する方法が考えられている。このように複数の画像を重ね合わせて合成する方法は、単純に１つの画像を解像度変換する方法に比べて高画質化が期待できる。

例えば、特許文献１には、連続する（ｎ＋１）枚のフレーム画像から１枚のフレーム画像を基準フレーム画像として選択し、この基準フレーム画像に対する他のｎ枚のフレーム画像（対象フレーム画像）の動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、（ｎ＋１）枚のフレーム画像を合成して１枚の高解像度な画像を生成する技術が開示されている。

特開２０００−２４４８５１号公報 特開平６−２９２１１５号公報

しかしながら、従来技術のように、複数の低解像度の画像を合成して１枚の高解像度な画像を生成する場合、１枚の低解像度の画像を解像度変換して１枚の高解像度の画像を生成する場合に比べて、その処理に利用される画像の情報量（データ量）が多くなるため、これに応じて処理時間が長くなる。

また、ユーザは、動画像の中から、所望する画像に対応するフレームを指定することは容易ではなく、指定したフレームの画像が所望する画像ではなかったということも多い。また、指定したフレームを基準に時系列に並ぶ複数フレームの画像を合成して生成した画像が、期待した画像とはならなかったということも多い。このため、ユーザは、所望する画像が得られるとともに、期待した画像が生成されるまで、再生、巻き戻し、一時停止、コマ送り、およびコマ戻し等の種々の動作を実行して、フレームの指定および画像の生成を繰り返し行うことになる。従って、ユーザの期待した画像が生成されるまでに相当な時間を要し、結果として高解像度の画像を生成するための処理時間が長くなることになる。

なお、上記問題は、動画像の中から取得された時系列に並ぶ複数フレームの画像を合成する場合だけでなく、ある画像群の中から１つの画像を指定し、指定した画像を含み時系列に並ぶ複数の画像を取得し、取得した複数の画像を合成する場合においても共通する問題である。

本発明は、上述の課題を解決するためになされたものであり、複数の低解像度の画像から高解像度の画像を生成する場合における処理時間を実効的に短くすることが可能な技術を提供することを目的とする。

上述の課題の少なくとも一部を解決するため、本発明では、複数の第１の画像に対して所定の高解像度化処理を行って第２の画像を生成する際に、以下の処理を行う。まず、時系列に並ぶ複数の画像の中から、あらかじめ指定された基準画像に基づいて、前記基準画像を含む前記複数の第１の画像を取得する。次に、前記複数の第１の画像に対し、あらかじめ指定された所定の条件に基づいて所定の部分範囲を設定する。そして、設定された前記所定の部分範囲に対して前記所定の高解像度化処理を行うことにより、前記所定の部分範囲に対応する前記第２の画像の部分を生成する。このようにすれば、設定された前記所定の部分範囲に対して前記所定の高解像度化処理を行うことによって、前記所定の部分範囲に対応する前記第２の画像の部分を生成することができるので、ユーザは、生成された前記第２の画像の部分に基づいて、前記第２の画像がユーザの期待する画像となりうるか否かを確認することができる。

そして、前記第２の画像の部分を生成後に前記第２の画像の生成指示が与えられた場合には、前記複数の第１の画像の全範囲に対して前記所定の高解像度化処理を行うことにより、前記第２の画像の全部を生成する。前記第２の画像の生成指示はユーザに許容されていることが好ましい。このようにすれば、例えば、生成された前記第２の画像の部分がユーザの期待する画像でなかった場合には、前記複数の第１の画像の全範囲に対して前記所定の高解像度化処理を行わず、ユーザの期待する画像であった場合にのみ、前記複数の第１の画像の全範囲に対して前記所定の高解像度化処理を行うようにすることができる。

なお、ユーザによって複数の高解像度化処理モードの中から１つを選択することが許容されており、選択された１つの高解像度化処理モードに対応する処理が前記所定の高解像度化処理として実行されるようにしてもよい。このようにすれば、ユーザは、種々の高解像度化処理の結果を容易に確認することができる。

また、ユーザによる前記所定の条件の指定が許容されていることも好ましい。このようにすれば、ユーザが前記所定の部分範囲の設定を変更することにより、変更された前記所定の部分範囲に対応する前記第２の画像の部分を生成することができるので、ユーザは、複数の前記所定の部分範囲に対応する前記第２の画像の部分に基づいて、前記第２の画像がユーザの期待する画像となりうるか否かを確認することができる。

なお、前記所定の条件には、少なくとも、ユーザが所望する前記複数の第１の画像中の所定の位置の情報と、前記所定の部分範囲の大きさを表す情報とが含まれる。ここで、前記所定の部分範囲の大きさを表す情報としては、画像の大きさを表す情報や画像の拡大率あるいは縮小率を表す情報が考えられる。

また、前記基準画像の指定はユーザに許容されていることが好ましい。前記基準画像の指定を変更するとともに、これに応じて新たに取得される前記複数の第１の画像に対して、新たに前記所定の部分範囲を設定すれば、設定された前記所定の部分範囲に対して前記所定の高解像度化処理を行うことによって前記所定の部分範囲に対応する前記第２の画像の部分が生成され、生成された前記第２の画像の部分に基づいて、前記第２の画像がユーザの期待する画像となるか否かを確認することが可能となる。これにより、前記基準画像の指定の変更と、生成される前記部分画像の確認とを、繰り返すことにより、ユーザの期待する画像が得られる複数の第１の画像を探すことができる。このとき、ユーザの期待する画像が得られるまで、設定された前記所定の範囲に対応する前記第２の画像の部分の生成が繰り返し行われ、前記第２の画像の全部の生成は行われない。この場合、ユーザの期待する画像が得られるまで、前記第２の画像の全部の生成を繰り返し行う場合に比べて、実効的に処理時間を短くすることが可能である。

なお、前記所定の高解像度化処理は、以下のように行うことができる。すなわち、前記所定の部分範囲に対して前記所定の高解像度化処理を行う場合には、あらかじめ推定された前記複数の第１の画像間の位置ずれを補正するための補正量に基づいて前記複数の第１の画像の位置ずれを補正するとともに、補正された前記複数の第１の画像のうちの前記所定の部分範囲に対応する部分を合成することにより前記部分画像を生成する。また、前記全範囲に対して前記所定の高解像度化処理を行う場合には、あらかじめ推定された前記補正量に基づいて前記複数の第１の画像の位置ずれを補正するとともに、補正された前記複数の第１の画像を合成することにより前記第２の画像を生成する。

また、前記時系列に並ぶ複数の画像は、動画像を構成することができる。こうすれば、動画像の中から取得された前記複数の第１の画像に対して所定の高解像度化処理を行って第２の画像を生成する際に、実効的に処理時間を短くすることが可能となる。

ここで、取得された前記複数の第１の画像には、フレーム画像やフィールド画像が含まれる。フレーム画像とは、プログレッシブ方式(ノンインタレース方式と呼ぶ)で表示可能な静止画像を意味しており、フィールド画像とは、インタレース方式において、ノンインタレース方式のフレーム画像に相当する画像を構成する奇数フィールドの静止画像と偶数フィールドの静止画像を意味している。

なお、本発明は、以下に示すような種々の態様で実現することが可能である。
（１）画像生成方法、画像処理方法、画像データ生成方法。
（２）画像生成装置、画像処理装置、画像データ生成装置。
（３）上記の装置や方法を実現するためのコンピュータプログラム。
（４）上記の装置や方法を実現するためのコンピュータプログラムを記録した記憶媒体。
（５）上記の装置や方法を実現するためのコンピュータプログラムを含み搬送波内で具現化されたデータ信号。

本発明をコンピュータプログラムまたはそのプログラムを記録した記憶媒体等として構成する場合には、上記装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記憶媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ／ＲＡＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。

以下では、本発明の実施の形態を実施例に基づいて以下の手順で説明する。
Ａ．静止画像生成装置の構成：
Ｂ．静止画像生成の手順：
Ｂ１．フレーム画像データ取得処理：
Ｂ２．補正量推定処理：
Ｂ３．処理条件設定処理：
Ｂ４．プレビュー画像生成のための高解像度化処理：
Ｂ５．全体が像生成のための高解像度化処理：
Ｃ．高解像度化処理の具体例：
Ｃ１．動き非対応合成処理：
Ｃ２．動き対応合成処理：
Ｃ３．単純高解像度化処理：
Ｄ．効果：
Ｅ．変形例：

Ａ．静止画像生成装置の構成：
図１は、本発明の一実施例としての静止画像生成装置の概略構成を示す説明図である。この静止画像生成装置は、汎用のパーソナルコンピュータであり、コンピュータ１００に情報を入力する装置としてのキーボード１３０およびマウス１４０と、情報を出力する装置としてのディスプレイ１２０およびプリンタ２００と、を備えている。また、コンピュータ１００に動画像を表す画像データ（以下、「動画像データ」とも呼ぶ。）を入力する装置としてディジタルビデオカメラ３００およびＣＤ−Ｒ／ＲＷドライブ１５０を備えている。なお、動画像データを入力する装置としては、ＣＤ−Ｒ／ＲＷドライブの他ＤＶＤドライブ、ハードディスクドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。

コンピュータ１００は、所定のオペレーティングシステムの下で、静止画像を生成するためのアプリケーションプログラムを実行することにより、静止画像生成装置として機能する。特に、図に示したように、表示制御部１０４、フレーム画像取得部１０６、補正量推定部１０８、高解像度化処理部１１０、印刷制御部１１２、保存制御部１１４、および処理条件設定部１１６として機能する。なお、この静止画像を生成するためのアプリケーションプログラムは、上記種々の情報記憶媒体を介してコンピュータ１００に提供することができる。また、図示しない通信回線を介してコンピュータ１００に提供することもできる。

表示制御部１０４は、ディスプレイ１２０による種々の表示を制御する。

フレーム画像取得部１０６は、キーボード１３０やマウス１４０を通じてユーザの所望する動画像が特定されると、ＣＤ−Ｒ／ＲＷドライブ１５０やビデオカメラ３００などから図示しないメモリの所定の領域に、特定された動画像を表す動画像データを読み込む。この動画像データには、それぞれ静止画像(フレーム画像)を表す複数フレームの画像データ（以下、「フレーム画像データ」とも呼ぶ。）が含まれている。そして、フレーム画像取得部１０５は、キーボード１３０やマウス１４０を通じてユーザによる動画像の再生が指示されると、上記所定のメモリ領域に格納されている動画像データ中の各フレーム画像データを順に読み出す。このとき、表示制御部１０４は、読み出された各フレーム画像データの表す画像（静止画像）をディスプレイ１２０に順に表示する。これにより、ディスプレイ１２０上で動画像が表示される。

また、フレーム画像取得部１０６は、キーボード１３０やマウス１４０を通じてユーザによるフレーム画像取得が指示されると、複数のフレーム画像データを取得し、所定のメモリ領域に格納する。なお、複数のフレーム画像データが格納される所定のメモリ領域は、上記動画像データが格納されているメモリ領域とは別のメモリ領域である。

そして、補正量推定部１０８は、複数のフレーム画像データが取得されると、複数のフレーム画像間の位置ずれを補正するための補正量を推定する。

処理条件設定部１１６は、キーボード１３０やマウス１４０を通じて行われたユーザによる処理条件の選択に応じて、高解像度化処理部１１０における高解像度化処理の処理条件を設定する。

高解像度化処理部１１０は、キーボード１３０やマウス１４０を通じてユーザによって高解像度化処理が指示されると、推定された補正量に基づいて複数のフレーム画像間の位置ずれを補正するとともに、設定された高解像度化処理の処理条件に従って、補正後の複数のフレーム画像データから、フレーム画像よりも高解像度な静止画像（以下、「高解像度静止画像」とも呼ぶ。）を表す画像データ（以下、「高解像度静止画像データ」とも呼ぶ。）を生成する。

そして、印刷データ生成部１１２は、印刷の指示に従って、生成された高解像度静止画像データに基づいて印刷データを生成し、生成された印刷データの表す画像をプリンタ２００で印刷する。また、保存制御部１１４は、保存の指示に従って、生成された高解像度静止画像データをＣＤ−ＲＷやハードディスク等の記憶媒体に格納する。また、生成された高解像度静止画像データの表す高解像度静止画像は、表示制御部１０４によってディスプレイ１２０に表示される。

Ｂ．静止画像生成の手順：
高解像度な静止画像を生成するためのアプリケーションプログラムが実行されると、まず、図示しないユーザインタフェース画面が表示制御部１０４によってディスプレイ１２０（図１参照）に表示され、静止画像生成の元となる動画像として、ディジタルビデオカメラ３００から供給される動画像データの表す動画像を選択するか、ＣＤ−ＲＷ等の記憶媒体に格納されている動画ファイルに含まれている動画像データの表す動画像を選択するかの選択が促される。ユーザによって、いずれかの選択がなされると、これに応じた処理が開始される。なお、以下では、ＣＤ−ＲＷ等の記憶媒体に格納されている動画像データの表す動画像を選択した場合の処理を例に説明する。

図２は、高解像度静止画像データの生成手順を示す説明図である。この高解像度静止画像データの生成手順では、後述するように、フレーム画像データ取得処理（ステップＳ１０）、補正量推定処理(ステップＳ２０)、処理条件設定処理(ステップＳ３０)、ユーザが指定したフレーム画像中のプレビュー表示の対象となる画像の範囲における高解像度化処理（ステップＳ４０）、高解像度化判断処理（ステップＳ５０）、ユーザが指定したフレーム画像全体での高解像度化処理(ステップＳ６０)、印刷または保存の出力処理(ステップＳ７０)、および、終了判断処理(ステップＳ８０)の各処理が順に実行される。これにより、ユーザが指定したフレーム画像を高解像度化した画像（高解像度静止画像）を表す高解像度静止画像データが生成され、生成された高解像度静止画像データの表す高解像度静止画像の表示や印刷が可能となる。また、生成された高解像度静止画像データの保存が可能となる。以下では、各処理を順に説明する。

Ｂ１．フレーム画像データ取得処理：
まず、ステップＳ１０のフレーム画像取得処理では、ユーザによって再生表示されている動画像の中から高解像度静止画像を生成したいフレーム画像（以下、「高解像度化対象画像」とも呼ぶ。）が指定されると、以下で説明するように複数のフレーム画像を表す画像データ（フレーム画像データ）が取得される。なお、動画像の再生中に複数のフレーム画像データを取得する機能は、フレーム画像取得部１０６（図１参照）によって実行される。

図３は、フレーム画像データの取得処理について、高解像度静止画像を生成するためのユーザインタフェース画面を用いて示す説明図である。なお、このユーザインタフェース画面ＵＷ０は、表示制御部１０４（図１参照）によってディスプレイ１２０に表示される。

ユーザがキーボード１３０あるいはマウス１４０を通じてカーソルＣｓを操作して、図３（Ａ）の動画ファイル指定欄ＳＷ１中の「参照」ボタンＳＷ１ｂを押して、表示される動画ファイルの一覧の中から選択することによって、選択したファイル名（図３の例では、フィル名「ｄｒｉｖｅ．ａｖｉ」である。）がファイル名入力欄ＳＷ１ａに表示される。そして、このファイル名入力欄ＳＷ１ａに表示されたファイル名で特定される動画ファイルが所望の動画ファイルとして設定される。なお、ユーザは、ファイル名入力欄ＳＷ１ａに直接ファイル名を入力することが可能である。

そして、設定された動画ファイルの動画像データは、格納されている記憶媒体（ここではＣＤ−ＲＷ）から読み込まれて、図示しないメモリの所定の領域(以下では、「動画像データ格納領域」とも呼ぶ。)に格納される。

なお、以下では、「キーボード１３０あるいはマウス１４０を通じてカーソルＣｓを操作する」なる記載は、単に「カーソルＣｓを操作する」のように記載する。

上記のようにして読み込まれた動画像データの表す動画像は、自動的に、あるいはユーザがカーソルＣｓを操作して「再生」ボタンＡ１を押すことにより、図３（Ｂ）に示すように、画像表示欄ＭＰＷで再生表示される。なお、本例は、上述した動画像選択において、ＣＤ−ＲＷ等の記憶媒体に格納されている動画像データの表す動画像が選択された場合を例に説明しているが、ディジタルビデオカメラ３００から供給される動画像データの表す動画像が選択された場合には、再生したい動画像を示す動画ファイルを設定する処理は不要であり、この場合のユーザインタフェース画面では動画ファイル指定欄ＳＷ１は省略することができる。

動画像の再生中に、ユーザがカーソルＣｓを操作して「停止」ボタンＡ２あるいは「一時停止」ボタンＡ３を押すことにより、動画像の再生が停止あるいは一時停止されると、その時点において画像表示欄ＭＰＷに表示されていたフレーム画像が高解像度化対象画像として指定される。

そして、高解像度化対象画像として指定されたフレーム画像を基準に時系列に連続する複数のフレーム画像を表す複数のフレーム画像データが後述する静止画像生成のために取得される。なお、本例では、４つのフレーム画像データが取得される。そして、取得された４つのフレーム画像データは、図示しないメモリの所定の領域（以下では、「フレームデータ格納領域」とも呼ぶ。）に格納される。以下の実施例では、以下では、高解像度化対象画像として指定されたフレーム画像を先頭として時系列に連続する４つのフレーム画像を表す４つのフレーム画像データが取得されるものとする。

なお、ユーザがカーソルＣｓを操作して「コマ送り」ボタンＡ４や「コマ戻し」ボタンＡ５を押すことによって、一時停止あるいは停止時に画像表示欄ＳＷ０に表示されている画像からコマ送りあるいはコマ戻しされた画像が表示される。この場合にも、コマ送りまたはコマ戻し後に表示されているフレーム画像を高解像度化対象画像として指定し、指定された高解像度化対象画像を基準フレーム画像として複数のフレーム画像データを取得することもできる。

また、ユーザがカーソルＣｓを操作して「保存」ボタンＡ１２を押すことにより、保存制御部１１４によって、指定された高解像度化対象画像を表すフレーム画像データをＣＤ−ＲＷやハードディスク等の記憶媒体に格納することができる。また、ユーザがカーソルＣｓを操作して「プリント」ボタンＡ１３を押すことにより、印刷データ生成部１１２によって、指定された高解像度化対象画像を表すフレーム画像データに基づいて印刷データが生成されて、高解像度化対象画像をプリンタ２００（図１参照）で印刷することもできる。

なお、フレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す階調データ（以下、「画素データ」とも呼ぶ。）で構成されている。画素データは、Ｙ（輝度）、Ｃｂ(ブルーの色差)、Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等である。

Ｂ２．補正量推定処理：
次に、ステップＳ２０（図２参照）の補正量推定処理では、取得した４フレームの各フレーム間において発生している画像のずれ(位置ずれ)を補正するための補正量の推定処理が実行される。この補正量の推定では、以下で説明するように、４つのフレームのうち、１つを基準フレームとし、この基準フレームを除く他の３フレームを対象フレームとして、各対象フレームのフレーム画像について、基準フレームのフレーム画像に対する位置ずれを補正するための補正量がそれぞれ推定される。なお、この補正量を推定する機能は、補正量推定部１０８（図１参照）によって実行される。

まず、図４を用いて、基準フレームのフレーム画像（以下、「基準フレーム画像」とも呼ぶ。）と対象フレームのフレーム画像（以下、「対象フレーム画像」とも呼ぶ。）との間の位置ずれについて説明し、図５を用いて位置ずれについての補正について説明する。そして、その後、補正に対応する補正量の推定について説明する。図４は、基準フレーム画像と対象フレーム画像との間の位置ずれについて示す説明図である。また、図５は、基準フレーム画像と対象フレーム画像との間の位置ずれの補正について示す説明図である。

なお、以下の説明では、取得した４フレームの番号（以下、「フレーム番号」とも呼ぶ。）をａ（ａ＝０，１，２，３）とし、フレーム番号ａのフレームをフレームａと呼び、フレームａの画像をフレーム画像Ｆａと呼ぶこととする。例えば、フレーム番号ａが０のフレームはフレーム０と呼び、その画像をフレーム画像Ｆ０と呼ぶ。なお、フレーム０を基準フレームとし、フレーム１〜３を対象フレームとする。また、基準フレームのフレーム画像Ｆ０を基準フレーム画像Ｆ０とも呼び、対象フレームのフレーム画像Ｆ１〜Ｆ３を対象フレーム画像Ｆ１〜Ｆ３とも呼ぶこととする。

画像の位置ずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。図４では、基準フレーム画像Ｆ０に対する、対象フレーム画像Ｆ３のずれ量を分かり易く示すため、基準フレーム画像Ｆ０の縁と、対象フレーム画像Ｆ３の縁とを重ねて示すとともに、基準フレーム画像Ｆ０上の中心位置に仮想の十字画像Ｘ０を追記し、この十字画像Ｘ０が、対象フレーム画像Ｆ３と同様にずれたとして、対象フレーム画像Ｆ３上に、ずれた結果の画像である十字画像Ｘ３を示すようにしている。更に、このずれ量を、より分かり易く示すために、基準フレーム画像Ｆ０、および十字画像Ｘ０を太い実線で示すとともに、対象フレーム画像Ｆ３、および十字画像Ｘ３を細い破線で示すようにしている。

本実施例では、並進ずれ量として横方向を「ｕｍ」、縦方向を「ｖｍ」と表し、回転ずれ量を「δｍ」と表し、対象フレーム画像Ｆａ（ａ＝１，２，３）についてのずれ量を「ｕｍａ」、「ｖｍａ」、「δｍａ」と表すこととする。例えば、図４に示すように、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して、並進ずれ、および回転ずれが生じており、そのずれ量は、ｕｍ３、ｖｍ３、δｍ３と表される。

ここで、対象フレーム画像Ｆ１〜Ｆ３を基準フレーム画像Ｆ０と合成するためには、対象フレーム画像Ｆ１〜Ｆ３が基準フレーム画像Ｆ０と一致するように、対象フレーム画像Ｆ１からＦ３の各画素の位置ずれを補正することとなる。このために用いられる並進補正量として横方向を「ｕ」、縦方向を「ｖ」、回転補正量を「δ」と表し、対象フレーム画像Ｆａ（ａ＝１，２，３）についての補正量を「ｕａ」、「ｖａ」、「δａ」と表すこととする。例えば、対象フレーム画像Ｆ３についての補正量は、ｕｍ３、ｖｍ３、δｍ３と表される。

ここで、補正とは、対象フレーム画像Ｆａ（ａ＝１，２，３）の各画素の位置を、横方向にｕａの移動、縦方向にｖａの移動、およびδａの回転を施した位置に移動させることを意味する。従って、対象フレーム画像Ｆａ（ａ＝１，２，３）についての補正量ｕａ、ｖａ、δａは、ｕａ＝−ｕｍａ、ｖａ＝−ｖｍａ、δａ＝−δｍａの関係で表される。例えば、対象フレーム画像Ｆ３についての補正量ｕ３、ｖ３、δ３は、ｕ３＝−ｕｍ３、ｖ３＝−ｖｍ３、δ３＝−δｍ３で表される。

以上のことから、例えば、図５に示すように、補正量ｕ３、ｖ３、δ３を用いて、対象フレーム画像Ｆ３の各画素の位置を補正することにより、対象フレーム画像Ｆ３を基準フレーム画像Ｆ０に一致させることができる。このとき、補正後の対象フレーム画像Ｆ３と、基準フレーム画像Ｆ０と、をディスプレイ１２０で表示させると、図５に示すように、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して部分一致すると推定される。なお、この補正の結果を分かり易く示すため、図５においても、図４と同じ仮想の十字画像Ｘ０および十字画像Ｘ３を表記しており、図５に示すように、補正の結果として、十字画像Ｘ３は十字画像Ｘ０と一致することとなる。

同様に、対象フレーム画像Ｆ１，Ｆ２についても、補正量ｕ１、ｖ１、δ１、およびｕ２、ｖ２、δ２、の各値を用いて補正が施され、対象フレーム画像Ｆ１，Ｆ２の各画素の位置を置き換えることができる。

なお、上述の「部分一致する」とは、以下のことを意味するものである。すなわち、図５に示すように、例えば、ハッチングを施した領域Ｐ１は、対象フレーム画像Ｆ３にのみ存在する領域の画像であり、基準フレーム画像Ｆ０には、該当する領域の画像は存在しない。このように、上述の補正を行ったとしても、ずれに起因して、基準フレーム画像Ｆ０にのみ、または、対象フレーム画像Ｆ３にのみ存在する領域の画像が生じてしまうため、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して完全一致することはなく、部分一致することとなる。

ところで、各対象フレーム画像Ｆａ（ａ＝１，２，３）についての補正量ｕａ、ｖａ、δａは、補正量推定部１０８（図１参照）において、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１〜Ｆ３の画像データとに基づき、パターンマッチ法や勾配法等に最小自乗法を適用して求められる所定の算出式を用いて、推定量として算出される。そして、算出された補正量ｕａ、ｖａ、δａは、並進補正量データと回転補正量データとして、図示しないメモリの所定の領域（以下、「補正量格納領域」とも呼ぶ。）に記憶される。

Ｂ３．処理条件設定処理：
図２のステップＳ３０で補正量推定処理が終了すると、次に、ステップＳ３０では、高解像度化処理のための処理条件の設定が可能となり、以下で説明するように、ユーザによって実行される処理条件の指定に応じて、後述する高解像度化処理のための処理条件が設定される。なお、この高解像度化処理の処理条件を設定する機能は、処理条件設定部１１６によって実行される。

高解像度化処理のための処理条件としては、（１）プレビュー表示の対象となる画像（以下、「プレビュー対象画像」とも呼ぶ。）の範囲、（２）高解像度化処理モードが挙げられる。以下では、（１）プレビュー対象画像の範囲、（２）高解像度化処理モードの順に、それぞれの設定例について説明する。

（１） プレビュー対象画像の範囲
図６は、高解像度化処理のための処理条件の設定について、高解像度静止画像を生成するためのユーザインタフェース画面を用いて示す説明図である。プレビュー表示欄ＳＰＷにおける表示（以下、「プレビュー表示」とも呼ぶ。）の対象となるプレビュー対象画像の範囲は、ユーザインタフェース画面ＵＷ０中の拡大率選択欄ＳＷ２に表示されている拡大率と、画像表示欄ＭＰＷ中で指定されているプレビュー対象画像の中心位置（以下、「プレビュー対象位置」とも呼ぶ。）によって設定される。

拡大率選択欄ＳＷ２に表示される拡大率は、ユーザがカーソルＣｓを操作して、拡大率選択欄ＳＷ２の選択ボタンＳＷ２ｂを押すことにより、所望の拡大率を選択指定することができる。なお、この拡大率選択欄ＳＷ２には、あらかじめ設定されている拡大率（図４の例では、「２００％（拡大率）」）が選択表示されている。あらかじめ設定されている拡大率としては、例えば、初期条件として設定されているデフォルト拡大率や、前回の処理で設定されていた拡大率等が考えられる。

また、プレビュー対象位置の指定は、画像表示欄ＭＰＷ中で、ユーザがカーソルＣｓを操作して、プレビュー対象画像の中心位置をマウス１４０（図１参照）の所定のボタンをクリック、あるいは、キーボード１３０の所定のキーを押すなどすることにより指定することができる。なお、プレビュー対象位置は、あらかじめ所定の位置に設定されており、ユーザがその位置を変更したい場合において、カーソルＣｓを操作して、所望の位置を指定することができる。あらかじめ設定されている所定の位置としては、初期条件として設定されているデフォルト位置や、前回の処理で設定された位置等が考えられる。

プレビュー対象画像の範囲（以下、「プレビュー対象範囲」とも呼ぶ。）は、例えば、以下のように設定される。図７は、プレビュー対象範囲の設定について示す説明図である。図は、画像表示欄ＭＰＷ（図６参照）に表示されている高解像度化対象画像を示している。以下では、画像の横方向をｘ軸、縦方向をｙ軸とし、画像表示欄ＭＰＷの左上を直交座標（ｘ，ｙ）の原点（０，０）として、座標（ｘｐ，ｙｐ）がプレビュー対象位置として指定されたとして説明する。また、プレビュー表示欄ＳＰＷ（図６参照）の画面サイズは、横方向（ｘ方向）にＰＷｘ画素で縦方向（ｙ方向）にＰＷｙ画素であるとする。また、後述する高解像度化処理では、高解像度化対象画像の画素密度に対して縦横それぞれＫａ倍（Ｋａは１より大きい実数。）の画素密度に変換された画像が生成されるとする。また、拡大率選択欄ＳＷ２で設定されている拡大率に応じて、縦横それぞれＫｂ倍（ｋｂは１より大きい実数。）されたプレビュー対象画像がプレビュー表示されるとする。

このとき、プレビュー表示欄ＳＰＷで表示可能なプレビュー対象画像の横方向（ｘ方向）がＰｘ画素で縦方向（ｙ方向）がＰｙ画素であるとすると、ＰｘおよびＰｙは、下式（１ａ）および（１ｂ）で表される。
Ｐｘ＝ＰＷｘ／（Ｋａ・Ｋｂ） ...（１ａ）
Ｐｙ＝ＰＷｙ／（Ｋａ・Ｋｂ） ...（１ｂ）

そして、プレビュー対象範囲を示す左上の座標（ｘｐ０，ｙｐ０）は、下式（２ａ），（２ｂ）により求められる。
ｘｐ０＝ｘｐ―Ｐｘ／２ ...（２ａ）
ｙｐ０＝ｙｐ−Ｐｙ／２ ...（２ｂ）

また、右下の座標（ｘｐ３，ｙｐ３）は、下式（３ａ），（３ｂ）により求められる。
ｘｐ３＝ｘｐ＋Ｐｘ−１ ...（３ａ）
ｙｐ２＝ｙｐ＋Ｐｙ−１ ...（３ｂ）

例えば、拡大率２００％とするとＫｂは２（＝２００％／１００％）となる。ここで、高解像度化処理における変換倍率Ｋａを２とし、プレビュー表示欄ＳＰＷの画面サイズとして、ＰＷｘ＝１６０画素，ＰＷｙ＝１２０画素とすると、プレビュー対象画像のサイズは、上式（１ａ），（１ｂ）によりＰｘ＝４０画素、ｐｙ＝３０画素となる。プレビュー位置の座標（ｘｐ，ｙｐ）を（１２０，２４０）とすると、プレビュー対象範囲を示す左上の座標（ｘｐ０，ｙｐ０）は上式（２ａ），（２ｂ）により（１００，２２５）と求められ、右下の座標（ｘｐ３，ｙｐ３）は上式（３ａ），（３ｂ）により（１３９，２５４）と求められる。

また、拡大率１００％とすると、Ｋｂは１（＝１００％／１００％）となる。ここで、同様に、高解像度化処理における変換倍率Ｋａを２とし、プレビュー表示欄ＳＰＷの画面サイズとして、ＰＷｘ＝１６０画素，ＰＷｙ＝１２０画素とすると、プレビュー対象画像のサイズは、上式（１ａ），（１ｂ）によりＰｘ＝８０画素、ｐｙ＝６０画素となる。また、同様に、プレビュー位置の座標（ｘｐ，ｙｐ）を（１２０，２４０）とすると、プレビュー対象画像の範囲を示す左上の座標（ｘｐ０，ｙｐ０）は上式（２ａ），（２ｂ）により（８０，２１０）と求められ、右下の座標（ｘｐ３，ｙｐ３）は上式（３ａ），（３ｂ）により（１５９，２６９）と求められる。

以上のようにして求められた左上の座標（ｘｐ０、ｙｐ０）と右下の座標（ｘｐ３，ｙｐ３）で表される矩形（図中、破線で示した矩形）の範囲が、プレビュー対象範囲として設定される。なお、設定されたプレビュー対象範囲を示す２つの座標（ｘｐ０，ｙｐ０），（ｘｐ３，ｙｐ３）は、プレビュー対象情報として図示しないメモリの所定の領域（以下、「プレビュー対象情報格納領域」とも呼ぶ。）に格納される。

なお、上記説明では、プレビュー対象範囲は、プレビュー対象位置と、拡大率とに基づいて設定されている。この場合、プレビュー対象位置の情報が本発明の所定の位置の情報に相当し、拡大率の情報が本発明の所定の部分範囲の大きさを表す情報に相当する。しかしながら、これに限定されるものではない。例えば、プレビュー対象範囲を、画像を画像表示欄ＭＰＷ中で、指定枠を用いて直接指定するようにしてもよい。この場合には、プレビュー対象範囲の情報が、本発明の所定の位置の情報と、所定の部分範囲の大きさを表す情報に相当する。なお、直接プレビュー対象範囲が指定される場合には、プレビュー表示欄ＳＰＷの画面サイズと、指定されたプレビュー対象範囲の画面サイズとに基づいて、画像の拡大／縮小率が決定される。

（２）高解像度化処理モード
高解像度化処理モードは、図６のユーザインタフェース画面ＵＷ０中の処理モード選択欄ＳＷ３に表示されている処理モード名に応じて設定される。処理モード選択欄ＳＷ３に表示される処理モード名は、ユーザがカーソルＣｓを操作して、処理モード選択欄ＳＷ３の選択ボタンＳＷ３ｂを押すことにより、所望の処理モード名を選択することができる。選択された処理モードを表す情報は、図示しないメモリの所定の領域（以下、「処理モード格納領域」とも呼ぶ。）に格納される。本例では、「動き非対応合成」、「動き対応合成」、および「単純高解像度化」の３種類の処理モードのうちいずれかを選択することができるものとする。

なお、この処理モード選択欄ＳＷ３には、あらかじめ設定されている高解像度化処理モードに対応する処理モード名が選択表示されている。図４（Ａ）は「動き非対応合成」が選択され、図４（Ｂ）は「動き対応合成」が選択されている状態を示している。あらかじめ設定されている高解像度化処理モードとしては、例えば、初期条件として設定されているデフォルトの処理モードや、前回の処理で設定されていた処理モード等が考えられる。

Ｂ４．プレビュー対象画像の高解像度化処理：
図２のステップＳ４０では、取得された複数のフレーム画像データのうち、それぞれ、設定されたプレビュー対象範囲に含まれる画像データのみを用いて、設定された高解像度化処理モードに対応する高解像度化処理が実行されて、プレビュー画像データが生成される。生成されたプレビュー画像データは、図示しないメモリの所定の領域(以下、「プレビューデータ格納領域」とも呼ぶ。)に格納される。また、生成されたプレビュー画像データの表すプレビュー画像が、図６に示すように、プレビュー表示欄ＳＰＷに表示される。

なお、プレビュー対象画像の高解像度化処理は、高解像度化処理に利用される画像データが、取得された複数フレームの画像データのうち、それぞれ、設定されたプレビュー対象範囲に含まれる画像データのみである点を除いて、後述する画像全体での高解像度化処理と同じであるので、ここでは説明を省略し、後で具体的に説明する。

そして、ユーザが図６に示す「保存」ボタンＡ１２や「プリント」ボタンＡ１３を押すことによって図２のステップＳ６０が開始されるまで、ステップＳ１０〜ステップＳ５０の処理を繰り返し実行することが可能である。

ここで、高解像度化対象画像を変更する場合には、ユーザが「再生」ボタンＡ１を押して動画像を再生して「停止」ボタンＡ２や「一時停止」ボタンＡ３を押すことにより、あるいは、「コマ送り」ボタンＡ４や「コマ戻し」ボタンＡ５を押してコマ送りやコマ戻しを実行することにより、図２のステップＳ１０のフレーム画像データ取得処理が実行されて高解像度化対象画像を変更することができる。そして、変更された高解像度化対象画像に基づいて複数のフレーム画像データが取得される。そして、ステップＳ２０の補正量推定処理、ステップＳ３０の処理条件設定処理、およびステップＳ４０のプレビュー画像生成のための高解像度化処理が実行されて、変更された高解像度化対象画像に応じて生成されたプレビュー画像がプレビュー表示欄ＳＰＷに表示される。

また、高解像度化処理のための処理条件を変更する場合には、上述したように、選択ボタンＳＷ２ｂを押して拡大率選択欄ＳＷ２に表示された拡大率を変更し、選択ボタンＳＷ３ｂを押して処理モード選択欄ＳＷ３に表示された処理モード名を変更し、画像表示欄ＭＰＷ中でカーソルＣｓを操作してプレビュー対象位置を変更することにより、図２のステップＳ３０の処理条件設定処理が実行されて高解像度化処理のための処理条件を変更することができる。そして、ステップＳ４０のプレビュー画像生成のための高解像度化処理が実行されて、変更された高解像度化処理のための処理条件に応じて生成されたプレビュー画像がプレビュー表示欄ＳＰＷに表示される。

以上のように、ユーザは、プレビュー表示欄ＳＰＷに表示されるプレビュー画像を確認しながら、期待するプレビュー画像が得られるまで、拡大率の変更、高解像度化処理モードの変更、プレビュー対象位置の変更することによる高解像度化処理のための処理条件の変更や、高解像度化対象画像の変更を繰り返し実行することができる。

なお、プレビュー表示欄ＳＰＷにプレビュー画像を表示する機能は表示制御部１０４（図１参照）によって実行され、プレビュー画像データを生成し格納する機能は高解像度化処理部１１０が実行する。

Ｂ５．全体画像生成のための高解像度化処理：
そして、ユーザが、「保存」ボタンＡ１２や「プリント」ボタンＡ１３を押すことにより、図２のステップＳ６０では、画像全体での高解像度化処理が実行される。この場合、取得された複数のフレーム画像データの全てを利用して、指定された高解像度化対象画像全体に対応する高解像度静止画像データが生成される。生成された高解像度静止画像データは、図示しないメモリの所定の領域(以下、「高解像度化データ格納領域」とも呼ぶ。）に格納される。

そして、ステップ７０では、ステップＳ５０で押されたボタンに対応する出力処理が実行される。図６の「プリント」ボタンＡ１３が押されたときには、印刷データ生成部１１２によって、生成された高解像度化静止画像データに基づいて印刷データが生成され、生成された印刷画像データの表す画像がプリンタ２００で印刷される。「保存」ボタンＡ１２が押されたときには、生成された高解像度画像データは、保存制御部１１４によってＣＤ−ＲＷ等の記憶媒体に格納される。

なお、ユーザがキーボード１３０あるいはマウス１４０を通じて処理の終了を指示するまで、ステップＳ１０〜ステップＳ８０の処理を繰り返し実行することができる。このとき、ステップＳ１０で指定された高解像度化対象画像や、ステップＳ３０で設定された高解像度化処理のための処理条件は、それぞれの処理ステップにおいて変更されるまで維持されており、これらのいずれも変更されていなければ、ステップＳ４０およびステップＳ６０における高解像度化処理では全く同じ条件で同じ処理が実行されることになる。そこで、全く同じ条件で同じ処理が実行されるような場合には、ステップＳ４０およびステップＳ６０では、その処理を省略してもよい。

また、以上説明した手順では、ステップＳ５０で「プリント」ボタンＡ１２や「保存」ボタンＡ１３を押すことにより、ステップＳ６０の全体画像生成のための高解像度化処理およびステップＳ７０の出力処理が実行されることとして説明しているが、ステップＳ６０の出力処理が実行される前に、ユーザの確認を促す処理が実行されるようにしてもよい。このとき、生成された高解像度生成画像データの表す高解像度静止画像を表示してユーザが確認できるようにしてもよい。また、「高解像度化実行」ボタンを設けて、ステップＳ５０では、この「高解像度化実行」ボタンを押すことによりステップＳ６０の画像全体での高解像度化処理が実行され、「保存」ボタンＡ１２や「プリント」ボタンＡ１３を押すことによりステップＳ７０の出力処理が実行されるようにしてもよい。

Ｃ．高解像度化処理の具体例：
以下では、高解像度化処理の処理モードとして上げられている「動き非対応合成処理」、「動き対応合成処理」、および「単純高解像度化処理」について説明する。

Ｃ１．動き非対応合成処理：
動き非対応合成処理では、推定された補正量を用いて、基準フレームの画像データと対象フレームの画像データとの位置ずれの補正を行い、補正した基準フレームの画像データと対象フレームの画像データとを合成しつつ高解像度化することにより、高解像度静止画像データを生成する。このとき、生成される高解像度静止画像データの表す高解像度静止画像（以下、「生成画像」とも呼ぶ。）を構成する各画素（以下、「生成画素」とも呼ぶ。）のうち、基準フレーム画像および対象フレーム画像のいずれにも存在しない画素については、その生成画素の周辺に存在するフレーム画像の画素の画素値を表す画素データ（階調値を表す階調データ）を用いて所定の補間処理を行うことにより、合成を行いつつ高解像度化が行われる。以下では、図８および図９を用いてこの合成処理について簡単に説明する。

図８は、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３とを、ずれを補正して配置した様子を拡大して示す説明図である。図８では、生成画像Ｇの各画素が黒丸で示されているとともに、基準フレーム画像Ｆ０の各画素が白抜きの四辺形で示され、補正後の対象フレーム画像Ｆ１〜Ｆ３の各画素が、ハッチングを施した四辺形で示されている。なお、以下で説明する動き非対応合成処理および動き対応合成処理では、生成画像Ｇの画素密度は、基準フレーム画像Ｆ０に対して、縦横１．５倍密の画素密度に高解像度化されるものとする。また、生成画像Ｇの各画素は、２画素おきに基準フレーム画像Ｆ０の各画素に重なるような位置にあるものとする。ただし、生成画像Ｇの画素が、必ずしも基準フレーム画像Ｆ０の各画素に重なるように位置している必要はない。例えば、生成画像Ｇ０の各画素のすべてが、基準フレーム画像Ｆ０の各画素の中間に位置するものでもよく、種々の位置とすることが可能である。また、高解像度化の倍率も、縦横１．５倍密に限定されるものではなく、種々の倍率とすることができる。

以下では、生成画像Ｇ内のある画素Ｇ（ｊ）に注目して説明する。ここで、変数ｊは、生成画像Ｇの全画素を区別する番号を示しており、例えば、左上の画素から開始して順番に右上の画素までとし、その後１つずつ下の左端の画素から順番に右端の画素までとして、最後に右下の画素とされる。各フレーム画像Ｆ０，Ｆ１，Ｆ２，Ｆ３において、この画素（以下、「注目画素」と呼ぶ。）Ｇ（ｊ）に対して、それぞれ最も近い４つの画素（以下、「近傍画素」と呼ぶ。）Ｆ（０），Ｆ（１），Ｆ（２），Ｆ（３）と、注目画素Ｇ（ｊ）との距離Ｌ０，Ｌ１，Ｌ２，Ｌ３を算出する。そして、最も近い距離にある近傍画素（以下、「最近傍画素」と呼ぶ。）を決定する。図８の例では、Ｌ３＜Ｌ１＜Ｌ０＜Ｌ２であるので、対象フレーム画像Ｆ３の画素Ｆ（３）が、注目画素Ｇ（ｊ）の最近傍画素として決定される。なお、この注目画素Ｇ（ｊ）に対する最近傍画素が、対象フレーム画像Ｆ３のｉ番目の画素であったとして、以下、最近傍画素Ｆ（３，ｉ）と表記する。

そして、以上の手順が、注目画素Ｇ（ｊ）の番号であるｊ＝１，２，３，...の順に、生成画像Ｇ内の全ての画素について実行されて、それぞれの画素について最近傍画素が決定されることになる。

注目画素Ｇ（ｊ）の画素データは、決定された最近傍画素と、この最近傍画素を含むフレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素それぞれの画素データを用いて、バイ・リニア法、バイ・キュービック法等の種々の補間処理によって生成される。

図９は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ（ｊ）は、基準フレーム画像Ｆ０および位置ずれ補正後の対象フレーム画像Ｆ１〜Ｆ３のいずれにも存在しない画素であるので、画素データが存在していない。そこで、上述のように、対象フレーム画像Ｆ３の画素Ｆ（３）を、注目画素Ｇ（ｊ）の最近傍画素Ｆ（３，ｉ）として決定した場合、図９に示すように、最近傍画素Ｆ（３，ｉ）のほか、対象フレーム画像Ｆ３中において、注目画素Ｇ（ｊ）を囲む３つの画素Ｆ（３，ｉ＋１）、Ｆ（３，ｋ）、F（３，ｋ＋１）で区画される領域を、注目画素Ｇ（ｊ）で４つの区画に分割し、その面積比で対角位置の画素データをそれぞれ重み付けして加算することにより、注目画素Ｇ（ｊ）の画素データを補間することができる。ただし、ｋはｉ番目の画素にフレーム画像Ｆ３の横方向の画素数を加えた画素の番号を示している。

なお、補間処理の方法については、バイ・リニア法の他、バイ・キュービック法、二アレストネイバ法等の種々の補間方法を用いることができる

以上のように、動き非対応合成処理では、基準フレーム画像と対象フレーム画像のうち、最近傍画素を含むフレーム画像の画素を用いて、注目画素の補間処理を行うことにより、合成を行いつつ高解像度化を行っている。このため、非常に高画質な静止画像を得ることができる。

なお、このような動き非対応合成処理は、取得した複数のフレーム画像のうち、基準フレーム画像と対象フレーム画像との間の画像間の局所的な画像の変化、すなわち、動きが小さい場合に適している。なぜならば、動き非対応合成処理では、基準フレーム画像と対象フレーム画像との間で動きが発生していた場合、以下に示す問題点が生じる場合があるからである。

図１０は、複数のフレーム画像間で動きが発生していた場合に、上記動き非対応合成処理を実行した場合の説明図である。図の下段は、上段の４つのフレーム画像Ｆ０〜Ｆ３を合成した場合の生成画像Ｇを示している。４つのフレーム画像Ｆ０〜Ｆ３は、画面の左から右に移動する自動車が撮影された動画像を示しており、自動車の位置が順に移動しているものである。上記動き非対応合成処理では、決定された最近傍画素がフレーム間で動きのある画素であるか否かに関わらず、この最近傍画素を用いて注目画素の補間処理を行うため、図１０に示すように、生成画像Ｇ中の自動車の画像が多重画像となってしまう場合がある。

従って、上記動き非対応合成処理は、複数のフレーム画像中の画像間でほとんど動きがない場合に、高解像度の画像を生成することに適している。

Ｃ２．動き対応合成処理：
動き対応合成処理は、以下で説明するように、上記のような多重画像を発生する原因である「動き」を考慮して、複数のフレーム画像を合成するものである。なお、この動き対応合成処理においても、生成画像Ｇは、図１０の４つのフレーム画像Ｆ０〜Ｆ３を推定された補正量に基づいて補正し、補正された４つのフレーム画像Ｆ０〜Ｆ３を重ね合わせて合成しつつ高解像度化することにより生成されるものとする。また、生成画像Ｇは、基準フレーム画像Ｆ０に対して、縦横１．５倍密の画素密度に高解像度化されるものとする。

生成画像Ｇの各生成画素のうち、注目画素Ｇ（ｊ）に対して、補正後の各フレーム画像Ｆ０〜Ｆ３のそれぞれにおいて、各近傍画素が求められるとともに、求められた４つの近傍画素の中から最近傍画素が求められる。

続いて、求められた最近傍画素と基準フレーム画像Ｆ０に対する動きの判定が行われる。ただし、最近傍画素が基準フレーム画像Ｆ０の画素である場合は、動きの判定は行われず、注目画素Ｇ（ｊ）の画素データは、注目画素Ｇ（ｊ）を囲む基準フレーム画像Ｆ０の画素を用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成される。一方、最近傍画素が対象フレーム画像Ｆ１〜Ｆ３の画素である場合には、以下で説明する動きの判定手法により動きの判定が行われる。

以下、動きの判定手法についてわかりやすくするため、基準フレーム画像をＦｒ、対象フレーム画像をＦｔとして説明する。図１１は、動きの判定手法を説明するための前提条件を示す説明図である。図中１つの塗りつぶしの四辺形は、対象フレーム画像Ｆｔ中において、動きの判定を行う画素、すなわち、上記最近傍画素に相当する画素（以下、「判定画素」とも呼ぶ。）Ｆｐｔを示している。また、格子状に並ぶ４つの白抜きの四辺形は、基準フレーム画像Ｆｒ中において、判定画素Ｆｐｔを囲む４つの画素Ｆｐ１，Ｆｐ２，Ｆｐ３，Ｆｐ４を示している。判定画素Ｆｐｔの輝度値をＶｔｅｓｔとし、４つの画素Ｆｐ１，Ｆｐ２，Ｆｐ３，Ｆｐ４の画素の輝度値をＶ１，Ｖ２，Ｖ３，Ｖ４とする。また、４つの画素Ｆｐ１，Ｆｐ２，Ｆｐ３，Ｆｐ４で形成される格子内での位置（Δｘ，Δｙ）は、左上の画素Ｆｐ１の位置を基準とし、横方向をｘ軸、縦方向をｙ軸とした座標であり、それぞれ０〜１の間の値のみを取りうることとする。

また、以下で説明する図１２では、図の説明をわかりやすくするため、判定画素Ｆｐｔの位置が、上記格子内において、１次元の位置、すなわち、ｘ方向に並ぶ２つの画素Ｆｐ１，Ｆｐ２の間の座標（Δｘ、０）にある場合を例に描くこととする。

図１２は、動き判定手法の一例について示す説明図である。判定画素Ｆｐｔに動きがない場合には、判定画素Ｆｐｔの輝度値Ｖｔｅｓｔは、基準フレーム画像Ｆｒ内において判定画素Ｆｐｔを囲む周囲の画素を基に、例えばバイ・リニア法により求めた推定輝度値Ｖ'と等しくなる。一方、判定画素Ｆｐｔに動きがあるとすると、判定画素Ｆｐｔの輝度値Ｖｔｅｓｔは、その動き量に応じて推定輝度値Ｖ'とは異なった値となる。そこで、以上の点を考慮して、以下に示すように、判定画素Ｆｐｔの動きを判定することができる。

まず、推定輝度値Ｖ'は、基準フレーム画像Ｆｒ内において判定画素Ｆｐｔの両側に位置する画素Ｆｐ１，Ｆｐ２の輝度値から、例えば１次元の線形補間を表す下式により求めることができる。
Ｖ'＝（１−Δｘ）・Ｖ１＋Δｘ・Ｖ２ ...（４）
ただし、Ｖ１、Ｖ２は、判定画素Ｆｐｔの両側に位置する基準フレームの画素Ｆｐ１，Ｆｐ２の輝度値を示している。また、Δｘは、２つの画素Ｆｐ１、Ｆｐ２の間の判定画素において、左側の画素Ｆｐ１を基準とするｘ軸方向の位置を示している。

そして、判定画素Ｆｐｔの輝度値Ｖｔｅｓｔと推定輝度値Ｖ'との差が、閾値ΔＶｔｈよりも大きい場合、この判定画素Ｆｐｔには動きがあると判定される。すなわち、下式を満たす場合には動きがないと判定され、下式を満たさない場合には動きがあると判定される。
｜Ｖｔｅｓｔ−Ｖ'｜＜ΔＶｔｈ ...（５）

なお、上記式（５）のように、輝度値Ｖｔｅｓｔと推定輝度値Ｖ'との差の絶対値が閾値ΔＶｔｈよりも小さい場合において、動きがないと判定されるようにしたのは、以下の理由による。すなわち、上述したように、判定画素を含む対象フレーム画像Ｆｔは、基準フレーム画像Ｆｒに対する位置ずれを補正するための補正量を求め、この補正量に応じて位置ずれを補正し、基準フレーム画像Ｆｒに重ね合わせるようにしている。このフレーム間の位置ずれは理想的には完全に補正されていることが好ましいが、実際にはこのずれを完全に無くすことは困難である場合が多く、重ね合わせの誤差等のノイズが発生する。このため、仮に判定画素に全く動きが無かったとしても、推定輝度値Ｖ'と判定画素の輝度値Ｖｔｅｓｔとの間には差が発生する場合がある。

そこで、このノイズにより発生する差を動きとして検出しないようにするために、推定輝度値Ｖ'から上下方向に閾値ΔＶｔｈの幅の領域を、動きがないと判定する範囲とすることとしている。

なお、閾値ΔＶｔｈの大きさは、例えば、輝度値が８ビットの階調、すなわち、０〜２５５の値をとりうるとした場合において、ΔＶｔｈ＝３程度に設定されることが好ましい。ただし、これに限定されるものではなく、輝度値の階調数、位置ずれ補正の精度等に応じて種々の値に設定することが好ましい。

なお、以上の説明では、判定画素Ｆｐｔの座標が基準フレーム画像Ｆｒの画素Ｆｐ１を原点とする座標（Δｘ，０）の場合を例に説明しているが、判定画素Ｆｐｔの座標が（０，Δｙ）の場合も同様である。

また、判定画素Ｆｐｔの座標が２次元の座標（Δｘ，Δｙ）の場合には、推定輝度値Ｖ'を、例えば、バイ・リニア法による２次元の線形補間を表す下式により求めるようにすればよい。
Ｖ'＝（１−Δｘ）・（１−Δｙ）・Ｖ１＋Δｘ・（１−Δｙ）・Ｖ２＋（１−Δｘ）・Δｙ・Ｖ３＋Δｘ・Δｙ・Ｖ４ ...（６）

以上説明した動きの判定手法による動き判定で、最近傍画素に動きがないと判定されると、注目画素Ｇ（ｊ）の画素データは、最近傍画素と、この最近傍画素を含む対象フレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、バイ・リニア法、バイ・キュービック法、二アレストネイバ法等の種々の補間処理によって生成される。

一方、動き判定で、最近傍画素に動きがあると判定された場合には、注目画素Ｇ（ｊ）に対して、最近傍画素の次に近い近傍画素（以下、次近傍画素とも呼ぶ。）について、上述した動き判定を行う。その判定で、次近傍画素に動きがないと判定された場合には、前述と同様、注目画素Ｇ（ｊ）の画素データが、次近傍画素と、この次近傍画素を含む対象フレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、バイ・リニア法、バイ・キュービック法、二アレストネイバ法等の種々の補間処理によって生成される。

また、次近傍画素についての動き判定で、次近傍画素に動きがあると判定された場合には、次近傍画素の次に近い画素を求め、その画素について、同様の動き判定が行われる。

以上の手順を繰り返し、注目画素Ｇ（ｊ）に対する対象フレーム画像Ｆ１〜Ｆ３のすべての近傍画素で、動きがあると判定されると、注目画素Ｇ（ｊ）の画素データは、注目画素Ｇ（ｊ）を囲む基準フレーム画像Ｆ０の画素の画素データを用いて、バイ・リニア法、バイ・キュービック法、二アレストネイバ法等の種々の補間処理によって生成される。

このようにして、注目画素Ｇ（ｊ）について補間処理が行われ、さらに、同様の補間処理が、注目画素Ｇ（ｊ）の番号であるｊ＝１，２，３，...の順に、生成画像Ｇ内の全ての画素について行われる。

以上のように、動き対応合成処理においては、注目画素Ｇ（ｊ）の近傍に位置する対象フレーム画像の近傍画素について、近い順に動き判定を行い、その画素に動きがないと判定された場合のみ、その動きがないと判定された画素と、この画素を含む対象フレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、注目画素Ｇ（ｊ）の補間処理が行われる。また、注目画素Ｇ（ｊ）の近傍に位置する対象フレーム画像のすべての画素について、動きがあると判定されると、注目画素Ｇ（ｊ）を囲む基準フレーム画像の画素の画像データを用いて、注目画素Ｇ（ｊ）の補間処理が行われる。

従って、この動き対応合成処理においては、動きのある画素を含む対象フレーム画像を補間処理に利用する対象から除外することができるので、図１０の生成画像Ｇにおいて発生している自動車の多重画像のように、動きのある部分が多重画像となることを防止して、高解像度静止画像データを生成することができる。従って、動き対応合成処理は、合成に利用される複数の画像間にある程度の局所的な変化、すなわち、「動き」がある場合に適している。

なお、以上説明した動き対応合成処理においては、注目画素に近い近傍画素の順に選択して、選択した画素の基準画像に対する動きを判定する場合を例に説明しているが、これに限定されるものではなく、例えば、単純にフレーム０、１、２、３の順に選択して動きを判定するようにしてもよい。すなわち、いずれの順番に動きを判定するようにしてもよい。また、以上説明した動き対応合成処理においては、選択した最近傍画素を含むフレームが基準フレームであった場合には、動きの判定を行わないようにしているが、この場合にも動きの判定を行うようにしてもよい。

Ｃ３．単純高解像度化処理：
単純高解像度化処理では、生成画像Ｇの注目画素Ｇ（ｊ）の画素データを、注目画素Ｇ（ｊ）を囲む基準フレーム画像の画素の、それぞれの画素データを用いて、上述の動き非対応合成処理および動き対応合成処理においても利用されている、バイ・リニア法、バイ・キュービック法、二アレストネイバ法等の補間処理によって生成する。

Ｄ．効果：
以上説明したように、本実施例の静止画像生成装置では、取得された複数のフレーム画像データのうち、それぞれ、設定されたプレビュー対象範囲に含まれる画像データのみを用いて、設定された高解像度化処理モードに対応する高解像度化処理を実行し、生成されたプレビュー画像データの表す画像をプレビュー表示することができる。

ユーザは、表示されたプレビュー画像を確認しながら、期待するプレビュー画像が得られるまで、拡大率の変更や、高解像度化処理モードの変更、プレビュー対象位置の変更を行うことによって、高解像度化処理のための処理条件の変更や、高解像度化対象画像の変更を繰り返し実行することができる。

従って、本実施例の静止画像生成装置では、指定された高解像度化対象画像全体での高解像度化処理を実行して、生成された高解像度化対象画像全体に対応する高解像度化静止画像を確認しながら、ユーザの期待する画像が得られるまで、高解像度化対象画像の変更や高解像度化処理モードの変更を繰り返す場合に比べて、最終的にユーザの希望する画像が得られるまでに要する時間を短くすることが可能である。

Ｅ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

（１）上記実施例では、高解像度化処理部１１０（図１参照）によって実行される高解像度静止画像データを生成する処理として、「動き非対応合成処理」、「動き対応合成処理」、および「単純高解像度化処理」の３つの高解像度化処理モードの中から１つの高解像度化処理モードが選択される場合を例に説明しているが、これに限定されるものではない。例えば、これら３つの高解像度化処理モード以外にも種々の高解像度化処理モードを備えており、これらのいずれかを選択できるようにしてもよい。また、いずれか２つの高解像度化処理モードから１つの処理モードを選択できるようにしてもよい。また、いずれか１つの高解像度化処理モードしか選択できないようにしてもよい

（２）上記実施例では、高解像度化対象画像として指定されたフレームを基準フレームとして、後ろ側に時系列に並ぶ４フレームのフレーム画像データを取得している。もちろん、前側に時系列に並ぶ４フレームのフレーム画像データを取得するようにしてもよく、また、前後に合わせて４フレームのフレーム画像データを取得するようにしてもよい。また、必ずしも４フレームである必要はなく、２フレーム以上の複数フレームを取得し、取得した複数フレームのフレーム画像データから静止画像データを生成するようにしてもよい。

（３）上記実施例では、複数のフレーム画像データを取得し、取得した複数のフレーム画像データから静止画像データを生成する場合を例に説明しているが、これに限定されるものではない。例えば、１フレームを構成する複数フィールドの画像データ（以下、「フィールド画像データ」とも呼ぶ。）の形式で複数フレーム分の画像データを取得し、取得した複数フィールドのフィールド画像データから静止画像データを生成するようにしてもよい。

（４）上記実施例では、プレビュー対象範囲として矩形の範囲が設定される場合を例に説明しているが、これに限定されるものではない。例えば、生成されたプレビュー画像がプレビュー表示欄で表示されるようにプレビュー表示欄の輪郭形状に応じた形状の範囲が設定されるようにすればよい。また、必ずしも、プレビュー表示欄の輪郭形状に応じた形状の範囲に設定する必要もなく、種々の輪郭形状の範囲がプレビュー対象範囲として設定されるようにしてもよい。

（５）上記実施例では、動き対応合成処理において、生成画像中のある画素の画素値を算出して画素データを生成する際に、動きを判定して、その画素データの生成に利用可能なフレーム画像を決定しているが、これに限定されるものではない。例えば、生成画像の各画素について、先に、それぞれの生成に利用可能なフレーム画像を動きの判定によって決定しておき、その後、生成画像の各画素の画素値を算出して画素データを生成する際に、先に決定されたそれぞれのフレーム画像に基づいて画素値を算出するようにしてもよい。

（６）上記実施例では、動画像（この動画像は、動画像データによって表される。）の中から取得された時系列に連続する複数フレームの画像（この画像は、画像データによって表される。）を合成して、１枚の高解像度な静止画像（この静止画像は、静止画像データで表される。）を生成する場合を例に説明している。しかしながら、これに限定されるものではなく、単に、時系列に連続する複数の低解像度の画像を合成して、１枚の高解像度の画像を生成することも可能である。時系列に連続する複数の低解像度の画像としては、例えば、ディジタルカメラで連写された複数の画像であってもよい。
また、必ずしも時系列に連続する複数の低解像度の画像(フレーム画像を含む。)である必要はなく、時系列に並んだ複数の低解像度の画像であってもよい。

（７）上記実施例における動きの判定手法は一例であって、これに限定されるものでなく、種々の動きの判定手法を利用することが可能である。例えば、判定画素Ｆｐｔの輝度値に等しい推定輝度値Ｖ'を有する画素の位置（推定位置）を求めて、判定画素Ｆｐｔの位置と推定位置とのずれ量が所定の範囲内にあるか否かで動きを判定する手法を用いることも可能である。

（８）上記実施例では、プレビュー表示欄に表示されるプレビュー画像を生成する場合を例に説明しているが、必ずしもこれに限定されるものではない。例えば、プレビュー表示欄に関係なく、画像表示欄に表示されている画像のうち、ユーザが所望する所定の部分範囲を設定し、設定された所定の範囲に対応する部分のみを高解像度化した部分画像を生成することも可能である。

（９）上記実施例では、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆にソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図１に示したような静止画像生成制御部、補正量推定部、動き対応合成部による処理をハードウェア回路で行うこととしてもよい。

（１０）上記実施例では、パーソナルコンピュータを本発明の静止画像生成装置
として動作させる場合を例に説明しているが、これに限定されるものではない。例えば、ディジタルビデオカメラ、プリンタ、ＤＶＤプレーヤ、カメラ付き携帯電話等の種々のコンピュータシステムを、本発明の静止画像生成装置とすることができる。特に、ディジタルビデオカメラを本発明の静止画像生成装置とした場合には、動画像を撮影しながら、撮影した動画像に含まれる複数のフレーム画像から１枚の高解像度な静止画像を生成することが可能となる。また、ディジタルカメラを本発明の静止画像生成装置として場合にも、被写体を連写しながら、連写した複数の撮像画像から１枚の高解像度な静止画像を生成することができる。

本発明の一実施例としての静止画像生成装置の概略構成を示す説明図である。 高解像度静止画像データの生成手順を示す説明図である。 フレーム画像データの取得処理について高解像度静止画像を生成するためのユーザインタフェース画面を用いて示す説明図である。 基準フレーム画像と対象フレーム画像との間の位置ずれについて示す説明図である。 基準フレーム画像と対象フレーム画像との間の位置ずれの補正について示す説明図である。 高解像度化処理のための処理条件の設定について高解像度静止画像を生成するためのユーザインタフェース画面を用いて示す説明図である。 プレビュー対象範囲の設定について示す説明図である。 基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３とをずれを補正して配置した様子を拡大して示す説明図である。 バイ・リニア法による補間処理について示す説明図である。 複数のフレーム画像間で動きが発生していた場合に動き非対応合成処理を実行した場合の説明図である。 動きの判定手法を説明するための前提条件を示す説明図である。 動き判定手法の一例について示す説明図である。

符号の説明

１００...コンピュータ
１０４...表示制御部
１０６...フレーム画像取得部
１０８...補正量推定部
１１０...高解像度化処理部
１１２...印刷データ生成部
１１４...保存制御部
１１６...処理条件設定部
１２０...ディスプレイ
１３０...キーボード
１４０...マウス
２００...プリンタ
３００...ディジタルビデオカメラ
Ａ１...「再生」ボタン
Ａ２...「停止」ボタン
Ａ３...「一時停止」ボタン
Ａ４...「コマ送り」ボタン
Ａ５...「コマ戻し」ボタン
Ａ１２...「保存」ボタン
Ａ１３...「プリント」ボタン
Ｃｓ...カーソル
Ｆａ...フレーム画像
Ｆ０〜Ｆ３...フレーム画像
ＵＷ０...ユーザインタフェース画面
ＭＰＷ...画像表示欄
ＳＰＷ...プレビュー表示欄
ＳＷ１...動画ファイル指定欄
ＳＷ１ａ...ファイル名入力欄
ＳＷ１ｂ...選択ボタン
ＳＷ２...拡大率選択欄
ＳＷ２ｂ...選択ボタン
ＳＷ３...処理モード選択欄
ＳＷ３ｂ...選択ボタン
Ｆｔ...対象フレーム画像
Ｆｒ...基準フレーム画像

Claims (11)

1. 複数の第１の画像に対して所定の高解像度化処理を行って第２の画像を生成する高解像度画像生成装置であって、
   時系列に並ぶ複数の画像の中から、あらかじめ指定された基準画像に基づいて、前記基準画像を含む前記複数の第１の画像を取得する画像取得部と、
   前記複数の第１の画像に対し、あらかじめ指定された所定の条件に基づいて所定の部分範囲を設定する処理条件設定部と、
   設定された前記所定の部分範囲に対して前記所定の高解像度化処理を行うことにより、前記所定の部分範囲に対応する前記第２の画像の部分を生成する高解像度化処理部と、
   を備えることを特徴とする高解像度画像生成装置。
2. 請求項１記載の高解像度画像生成装置であって、
   前記高解像度化処理部は、前記第２の画像の部分を生成後に前記第２の画像の生成指示が与えられた場合には、前記複数の第１の画像の全範囲に対して前記所定の高解像度化処理を行うことにより、前記第２の画像の全部を生成する、高解像度画像生成装置。
3. 前記高解像度化処理部では、ユーザによる前記第２の画像の生成指示が許容される請求項２記載の高解像度画像生成装置。
4. 請求項１ないし請求項３のいずれかに記載の高解像度画像生成装置であって、
   前記処理条件設定部では、ユーザによって複数の高解像度化処理モードの中から１つを選択することが許容されており、
   前記高解像度化処理部は、選択された１つの高解像度化処理モードに対応する処理を前記所定の高解像度化処理として実行する、高解像度画像生成装置。
5. 前記処理条件設定部では、ユーザによる前記所定の条件の指定が許容される請求項１ないし請求項４のいずれかに記載の高解像度画像生成装置。
6. 前記所定の条件には、少なくとも、ユーザが所望する前記複数の第１の画像中の所定の位置の情報と、前記所定の部分範囲の大きさを表す情報とが含まれる請求項５記載の高解像度画像生成装置。
7. 前記画像取得部では、ユーザによる前記基準画像の指定が許容される請求項１ないし請求項６のいずれかに記載の高解像度画像生成装置。
8. 請求項１ないし請求項７のいずれかに記載の高解像度画像生成装置であって、
   前記高解像度化処理部は、
   前記所定の部分範囲に対して前記所定の高解像度化処理を行う場合には、あらかじめ推定された前記複数の第１の画像間の位置ずれを補正するための補正量に基づいて前記複数の第１の画像の位置ずれを補正するとともに、補正された前記複数の第１の画像のうちの前記所定の部分範囲に対応する部分を合成することにより前記部分画像を生成し、
   前記全範囲に対して前記所定の高解像度化処理を行う場合には、あらかじめ推定された前記補正量に基づいて前記複数の第１の画像の位置ずれを補正するとともに、補正された前記複数の第１の画像を合成することにより前記第２の画像を生成する、高解像度画像生成装置。
9. 前記時系列に並ぶ複数の画像は、動画像を構成する請求項１ないし請求項８のいずれかに記載の高解像度画像生成装置。
10. 複数の第１の画像に対して所定の高解像度化処理を行って第２の画像を生成する高解像度画像生成方法であって、
    （ａ）時系列に並ぶ複数の画像の中から、あらかじめ指定された基準画像に基づいて、前記基準画像を含む前記複数の第１の画像を取得する工程と、
    （ｂ）前記複数の第１の画像に対し、あらかじめ指定された所定の条件に基づいて所定の部分範囲を設定する工程と、
    （ｃ）設定された前記所定の部分範囲に対して前記所定の高解像度化処理を行うことにより、前記所定の部分範囲に対応する前記第２の画像の部分を生成する工程と、
    を備えることを特徴とする高解像度画像生成方法。
11. 複数の第１の画像に対して所定の高解像度化処理を行って第２の画像を生成するためのプログラムであって、
    時系列に並ぶ複数の画像の中から、あらかじめ指定された基準画像に基づいて、前記基準画像を含む前記複数の第１の画像を取得する機能と、
    前記複数の第１の画像に対し、あらかじめ指定された所定の条件に基づいて所定の部分範囲を設定する機能と、
    設定された前記所定の部分範囲に対して前記所定の高解像度化処理を行うことにより、前記所定の部分範囲に対応する前記第２の画像の部分を生成する機能と、
    をコンピュータに実現させるためのプログラム。

Images