JP2005354124A - 複数の低画素密度画像からの高画素密度画像の生成 - Google Patents

Abstract

【課題】 複数の画像を合成して画素密度のより高い画像を生成する場合に、処理時間が過剰に長くなることを防止することができる技術を提供することを目的とする。
【解決手段】 画素密度が比較的低い低解像度画像から、画素密度が比較的高い高解像度画像を生成する際に、高解像度画像が表す画像の領域となるべき領域を重点領域と非重点領域とを含む複数の領域に区分し、重点領域における高解像度画像の画素値を、２以上の第１の枚数の低解像度画像を用いて決定するとともに、非重点領域における高解像度画像の画素値を、第１の枚数よりも少ない第２の枚数の低解像度画像を用いて決定する。
【選択図】 図８

Description

本発明は、画素の密度が低い複数の画像から画素の密度が高い画像を生成する技術に関するものである。

デジタルビデオカメラ等で撮影された動画像は、動画像の１シーンを表現する静止画像の生成にも利用されている。動画像は静止画像（フレーム画像とも呼ぶ）を表すフレーム画像データを複数含んでいる。ここで、複数のフレーム画像を重ね合わせて合成することによって、フレーム画像データよりも画素の密度の高い静止画像データを生成する処理（高解像度化処理とも呼ばれる）が用いられている（例えば、特許文献１参照）。

特開２０００−２４４８５１号公報

ところが、複数のフレーム画像データを合成して画素密度の高い１つの静止画像データを生成する場合には、合成処理に用いられるデータ量が多くなるので、処理時間が長くなる場合があった。なお、このような問題は、動画像を用いて静止画像を生成する場合に限らず、静止画像を表す静止画像データを複数用いて画素密度のより高い静止画像データを生成する場合に共通する問題であった。

本発明は、上述した従来の課題を解決するためになされたものであり、複数の画像を合成して画素密度のより高い画像を生成する場合に、処理時間が過剰に長くなることを防止することができる技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、この発明による画像処理装置は、画素密度が比較的低い低解像度画像から、画素密度が比較的高い高解像度画像を生成する画像処理装置であって、前記高解像度画像が表す画像の領域となるべき領域を重点領域と非重点領域とを含む複数の領域に区分する領域区分部と、前記重点領域における前記高解像度画像の画素値を、２以上の第１の枚数の前記低解像度画像を用いて決定するとともに、前記非重点領域における前記高解像度画像の画素値を、前記第１の枚数よりも少ない第２の枚数の前記低解像度画像を用いて決定する高解像度化処理部と、を備える。

この画像処理装置によれば、高解像度画像が表す画像の領域が重点領域と非重点領域とを含む複数の領域に区分され、さらに、非重点領域の画素値が重点領域の画素値と比べて少ない枚数の低解像度画像を用いて決定されるので、複数の画像を合成して画素密度のより高い画像を生成する場合に、処理時間が過剰に長くなることを防止することができる技術を提供することを目的とする。

上記画像処理装置において、前記複数の領域は、さらに、前記重点領域を囲む遷移領域を含み、前記高解像度化処理部は、前記遷移領域における前記高解像度画像の各画素の画素値を、前記第１の枚数の前記低解像度画像を用いて決定した第１の画素値に第１の重みを付した値と、前記第２の枚数の前記低解像度画像を用いて決定した第２の画素値に第２の重みを付した値と、を加算することによって決定し、前記第１の重みは前記画素の位置が前記重点領域に近いほど大きく、さらに、前記第２の重みは前記画素の位置が前記重点領域に近いほど小さくてもよい。

この構成によれば、重点領域と非重点領域との間において、高解像度画像の画素値の決定に用いられる低解像度画像の枚数が急激に変化することによって領域の境界が目立つことを抑制することができる。

上記画像処理装置において、前記複数の領域は、さらに、前記重点領域を囲む遷移領域を含み、前記高解像度化処理部は、前記遷移領域における前記高解像度画像の画素値を、前記第１の枚数よりも少なく、かつ、前記第２の枚数よりも多い枚数の前記低解像度画像を用いて決定してもよい。

この構成によれば、重点領域と非重点領域との間において、高解像度画像の画素値の決定に用いられる低解像度画像の枚数が急激に変化することによって領域の境界が目立つことを抑制することができる。

上記画像処理装置において、前記領域区分部は、前記遷移領域を、さらに、前記重点領域の周囲を順に取り囲む複数の部分遷移領域に区分し、前記高解像度化処理部が前記部分遷移領域の画素値の決定に用いる前記低解像度画像の枚数は、前記部分遷移領域毎に異なっているとともに、前記重点領域に近い部分遷移領域ほど大きいことが好ましい。

この構成によれば、重点領域と非重点領域との間において、画素値決定に用いられる低解像度画像の枚数が急変して領域の境界が目立つことを適切に抑制することができる。

上記各画像処理装置において、前記領域区分部は、前記領域の区分をユーザの指示に従って決定するユーザ指定モードを有していてもよい。

この構成によれば、領域の区分をユーザの好みに適したものとすることが可能となる。

上記各画像処理装置において、前記領域区分部は、前記領域の区分を、前記複数の低解像度画像間における同じ位置の輝度差に基づいて決定する輝度差決定モードを有していてもよい。

この構成によれば、領域の区分を輝度差に応じた適切なものとすることが可能となる。

上記各画像処理装置において、前記複数の低解像度画像の少なくとも一部には、前記低解像度画像における撮影時の合焦位置に関する合焦位置情報が関連付けられており、前記領域区分部は、前記領域の区分を前記合焦位置情報に基づいて決定する合焦位置決定モードを有していてもよい。

この構成によれば、領域の区分を合焦位置情報に応じた適切なものとすることが可能となる。

上記各画像処理装置において、前記高解像度化処理部は、前記第１の枚数の前記低解像度画像の中から、前記高解像度画像の前記重点領域を表す部分の画像の形状が互いに類似している低解像度画像を選択して用いることによって前記重点領域の画素値を決定することが好ましい。

この構成によれば、重点領域が表す画像が過剰にぼやけることを防止することができる。

なお、本発明は種々の形態で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。

次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．第４実施例：
Ｅ．第５実施例：
Ｆ．第６実施例：
Ｇ．変形例：

Ａ．第１実施例：
図１は、本発明の一実施例としての画像処理システムの構成を示す説明図である。この画像処理システムは、デジタルカメラ１００とコンピュータ２００とを備えている。また、コンピュータ２００には、ディスプレイ２２０とマウス２３０とキーボード２４０とが接続されている。ディスプレイ２２０は、動画像や後述する操作表示画面を表示するための出力装置として機能する。マウス２３０とキーボード２４０とは、ユーザからの入力を受け付けるための入力装置として機能する。

コンピュータ２００は、データ処理部２１０を備えている。第１実施例では、データ処理部２１０は、デジタルカメラ１００から動画像データを受け取り、動画像の１シーンを表すとともに画素密度の高い（解像度の高い）高解像度静止画像データを生成する。なお、本実施例では、動画像データは、ノンインターレース方式の静止画像を表すフレーム画像データの集合であることとしている。

図２は、第１実施例におけるデータ処理部２１０の内部構成を示すブロック図である。第１実施例のデータ処理部２１０は、フレーム画像選択部２１２と、領域区分部２１４と、補正量推定部２１６と、高解像度化処理部２１８と、を備えている。データ処理部２１０はＣＰＵとメモリとを有しており、コンピュータプログラムを実行することによって各構成要素の機能を実現する。

データ処理部２１０が実行するコンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記録された形態で供給され得る。このような記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等の、コンピュータが読み取り可能な種々の媒体を利用できる。なお、データ処理部２１０の機能の一部、または、全部をハードウェアによって実現してもよい。

図３は、データ処理部２１０の操作表示画面３００を示す説明図である。この操作表示画面３００はディスプレイ２２０（図１）に表示される。ユーザは、マウス２３０とキーボード２４０とを用いることによって、この操作表示画面３００を操作することができる。

この操作表示画面３００は、動画像を表示するための画像表示領域３１０と、動画像の再生状態を制御するための再生ボタン３２０と一時停止ボタン３２２とを有している。図３の例では、飛行機が飛んでいる様子を表す動画像が表示されている。さらに、操作表示画面３００は、動画像データから高解像度静止画像データを生成させるための鮮明化ボタン３３０と部分鮮明化ボタン３３２とを有している。動画像の再生を一時停止させると、その時に表示していたフレーム画像（以下「基準フレーム画像」と呼ぶ）が画像表示領域３１０に表示され続ける。この状態で、鮮明化ボタン３３０、または、部分鮮明化ボタン３３２を操作すると、基準フレーム画像を表す高解像度静止画像データを生成する処理が実行される。このように、ユーザは、一時停止ボタン３２２を操作することによって、高解像度静止画像データを生成するための画像（シーン）を決定することができる。

ユーザが、鮮明化ボタン３３０を操作すると、データ処理部２１０（図２）は、動画像データに含まれる複数のフレーム画像を用いて高解像度静止画像データを生成する処理を実行する。この処理は、複数のフレーム画像を各フレーム画像の被写体が重なるように重ね合わせることによって画素密度のより高い高解像度静止画像データを生成するものであり、種々の周知の処理を用いることができる。

一方、ユーザが、部分鮮明化ボタン３３２を操作すると、データ処理部２１０は、画像領域を複数の領域に区分して高解像度化を行う処理を実行する。図４は、このような高解像度化処理の手順を示すフローチャートである。ステップＳ１００では、フレーム画像選択部２１２（図２）が、高解像度静止画像データの生成に用いる複数のフレーム画像（以下「原画像」とも呼ぶ）を選択する。図５には、選択されたフレーム画像が示されている。第１実施例では、フレーム画像選択部２１２は、基準フレーム画像Ｆ０を先頭として時系列に沿って並ぶ４つのフレーム画像Ｆ０〜Ｆ３を選択する。以下、基準フレーム画像Ｆ０とは異なる他のフレーム画像Ｆ１〜Ｆ３を「対象フレーム画像」と呼ぶ。

次のステップＳ１１０では、領域区分部２１４（図２）が、基準フレーム画像を重点領域と非重点領域とに区分する。図５には、領域区分部２１４が領域を区分する様子が示されている。第１実施例では、領域区分部２１４は、フレーム画像間の輝度の差分に基づいて自動的に重点領域ＥＡを設定する。具体的には、領域区分部２１４は、まず、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１とのそれぞれを複数のブロックに分割する。図５の例では、３０のブロック（縦方向に５分割、横方向に６分割）に分割している。これらのブロックは、全てのフレーム画像に共通するものである。次に、領域区分部２１４は、各ブロックに含まれる画素の画素値を用いて、各ブロック毎に輝度値に平均値を算出し、さらに、同じ位置のブロック同士の平均輝度値を比較する。ここで、領域区分部２１４は、平均輝度値の差分が差分しきい値よりも大きいブロックを重点領域ＥＡとして採用する。図５の例では、移動する飛行機ＡＰを表すブロックが重点領域ＥＡとして採用されている（採用されたブロックが２重線で囲まれて示されている）。領域区分部２１４は、他の対象フレーム画像Ｆ２、Ｆ３と、基準フレーム画像Ｆ０との組み合わせについても、同様に、輝度差の大きなブロックを重点領域ＥＡとして採用する。

この重点領域ＥＡについては、以下のように説明することができる。飛行機等の動きのある被写体を表すブロックでは、被写体の動きに応じて輝度が変化する可能性が高い。一方、動画像を撮影する際には、ユーザは、動きのあるものを主な被写体として撮影する場合が多い。従って、輝度差の大きなブロックを重点領域ＥＡとして選択すれば、主な被写体を表す可能性の高い領域を重点領域ＥＡとして用いることができる。なお、輝度差を比較する差分しきい値は、予め実験的に決定しておけばよい。

なお、図５の例では、基準フレーム画像と対象フレーム画像との組み合わせに拘わらず、同じブロックが選択されているが、動画像によっては、組み合わせ毎に選択されるブロックが異なる可能性もある。この場合には、選択された全てのブロックを重点領域ＥＡとして採用してもよく、この代わりに、全ての組み合わせに共通するブロックのみを重点領域ＥＡとして採用してもよい。また、ブロックの数は３０に限らず、より少ない数を採用してもよく、より多い数を採用してもよい。さらに、各ブロック毎に比較する値としては、輝度値の平均値の代わりに累積値を用いてもよく、一般に、各ブロック毎の輝度値の代表値であればよい。また、各画素の画素値が輝度値を含まない表色系（例えば、RGB表色系）で表されている場合には、輝度値を含む表色系（例えば、YCbCr表色系）に変換することによって輝度値を得ることができる。

重点領域ＥＡが決まると、領域区分部２１４は、残りの領域を非重点領域ＮＡとして選択する。このようにして領域の区分が決まると、次のステップＳ１２０（図４）に移行する。

ステップＳ１２０では、データ処理部２１０（図２）は、部分高解像度化処理を実行する。図６は、部分高解像度化処理の手順を示すフローチャートである。ステップＳ２００では、補正量推定部２１６が、各対象フレーム画像Ｆ１〜Ｆ３毎に、基準フレーム画像Ｆ０に対する相対位置（以下「位置補正量」とも呼ぶ）を決定する。図７は、相対位置を決定する様子を示す説明図である。図７には、基準フレーム画像Ｆ０上に対象フレーム画像Ｆ１を重ね合わせた様子が示されている。基準フレーム画像Ｆ０は実線で示され、対象フレーム画像Ｆ１は破線で示されている。ここで、対象フレーム画像Ｆ１は、基準フレーム画像Ｆ０に対する相対位置に重ねられている。

この相対位置は、基準フレーム画像Ｆ０の重点領域ＥＡが表す撮像対象が重なるように決定される。図７の例では、重点領域ＥＡが表現する飛行機ＡＰが重なるように、２つのフレーム画像Ｆ０、Ｆ１間の相対位置が決定される。補正量推定部２１６は、このような相対位置を、画像のパターンマッチングや特徴点追跡、勾配法等の種々の周知の方法を用いて決定することができる。例えば、補正量推定部２１６は、重ね合わせたい２つの画像のそれぞれから、撮像対象を表す線（例えば、輪郭線）の端点や分岐点等の特徴点を抽出し、得られた特徴点が重なるように相対位置を決定すればよい。この際、補正量推定部２１６は、基準フレーム画像Ｆ０の重点領域ＥＡと、対象フレーム画像Ｆ１の対象重点領域Ｆ１ＥＡと、を用いて相対位置を決定することができる。ここで、対象重点領域Ｆ１ＥＡは対象フレーム画像Ｆ１における重点領域であり、基準フレーム画像Ｆ０の重点領域ＥＡと同じ画素位置と同じ大きさとを有する領域である。また、補正量推定部２１６は、上述した種々の方法を用いることによって、１画素未満の大きさの精度で相対位置を決定することができる。なお、相対位置は、例えば、並進方向のズレ量（ｕ、ｖ）と、回転方向のズレ量（δ）と、の組み合わせを用いて表すことができる。

補正量推定部２１６は、他の対象フレーム画像Ｆ２、Ｆ３についても、同様に、相対位置を算出する。各対象フレーム画像Ｆ１〜Ｆ３の相対位置が算出されたら、次のステップＳ２１０（図６）では、高解像度化処理部２１８（図２）が、重点領域ＥＡを対象とした高解像度化処理を実行する。図８は、高解像度化処理部２１８が、各フレーム画像Ｆ０〜Ｆ３から、高解像度静止画像Ｇを生成する様子を示す説明図である。第１実施例では、基準フレーム画像Ｆ０が表す画像の範囲と高解像度静止画像Ｇが表す画像の範囲とは同じである。ただし、高解像度静止画像Ｇを表す高解像度静止画像データは、基準フレーム画像Ｆ０を表す基準フレーム画像データと比べて、画素密度（画素数）が多くなっている。ここで、高解像度静止画像データの画素密度（画素数）は、ユーザが指定することとしてもよく、また、予め設定されていても良い。例えば、基準フレーム画像データの画素密度に対する縦横の倍率をユーザが指定することとしてもよい。このような倍率としては、２倍や３倍といった整数に限らず、１．５倍等の任意の値を採用することができる。

ステップＳ２１０では、高解像度化処理部２１８は、高解像度静止画像Ｇの重点領域ＧＥＡ内の画素の画素値を決定する。この重点領域ＧＥＡは、ステップＳ１１０（図４）で区分された重点領域ＥＡと同じ画像を表す領域である。高解像度化処理部２１８は、重点領域ＧＥＡ内の画素の画素値を、４つのフレーム画像Ｆ０〜Ｆ３の画素値を用いて決定する。

対象フレーム画像Ｆ１には、補正済重点領域Ｆ１ＭＥＡが示されている。この補正済重点領域Ｆ１ＭＥＡは、対象フレーム画像Ｆ１を、対象フレーム画像Ｆ１の相対位置（ｕ１、ｖ１、δ１）に従って基準フレーム画像Ｆ０上に重ね合わせた場合に、基準フレーム画像Ｆ０の重点領域ＥＡと一致する領域である。従って、対象フレーム画像Ｆ１の補正済重点領域Ｆ１ＭＥＡ内の画素が、重点領域ＧＥＡが表す撮像対象と同じ撮像対象を表すこととなる。この際、補正済重点領域Ｆ１ＭＥＡの各画素が重点領域ＧＥＡ内のどの位置を表しているか（以下「再現画素位置」と呼ぶ）は、相対位置（ｕ１、ｖ１、δ１）に従って決まる。同様に、対象フレーム画像Ｆ２、Ｆ３にも、補正済重点領域Ｆ２ＭＥＡ、Ｆ３ＭＥＡが示されている。補正済重点領域Ｆ２ＭＥＡは、Ｆ２の相対位置（ｕ２、ｖ２、δ２）に従って決まる領域であり、補正済重点領域Ｆ３ＭＥＡは、Ｆ３の相対位置（ｕ３、ｖ３、δ３）に従って決まる領域である。これらの補正済重点領域Ｆ２ＭＥＡ、Ｆ３ＭＥＡ内の画素が重点領域ＧＥＡを表すこととなる。

このように、高解像度静止画像Ｇの重点領域ＧＥＡ内の撮像対象は、４つの領域ＥＡ、Ｆ１ＭＥＡ、Ｆ２ＭＥＡ、Ｆ３ＭＥＡによって表されている。換言すれば、各領域ＥＡ、Ｆ１ＭＥＡ、Ｆ２ＭＥＡ、Ｆ３ＭＥＡを各フレーム画像の相対位置に従って位置補正して重点領域ＧＥＡ上に重ね合わせれば、各領域ＥＡ、Ｆ１ＭＥＡ、Ｆ２ＭＥＡ、Ｆ３ＭＥＡが表す画像がほとんどぴったり重なることとなる。

高解像度化処理部２１８は、このように重点領域ＧＥＡ上に重ねることが可能な４つの領域ＥＡ、Ｆ１ＭＥＡ、Ｆ２ＭＥＡ、Ｆ３ＭＥＡの画素の画素値を用いて重点領域ＧＥＡ内の画素の画素値を決定する。この際、高解像度化処理部２１８は、種々の方法を用いることによって画素値を決定することができる。例えば、４つの領域ＥＡ、Ｆ１ＭＥＡ、Ｆ２ＭＥＡ、Ｆ３ＭＥＡの各画素の内の、再現画素位置が重点領域ＧＥＡの注目画素に最も近い所定数（例えば、４つ）の画素の画素値を補間することによって、その注目画素の画素値を決定してもよい。この際、再現画素位置と注目画素との距離を重みとして用いることが好ましい。また、４つのフレーム画像Ｆ０〜Ｆ３の中から注目画素毎に１つのフレーム画像を選択し、選択したフレーム画像にバイ・リニア法等の周知の補間処理を適用して注目画素の画素値を決定してもよい。この際、再現画素位置が注目画素に最も近い画素を有するフレーム画像を選択すればよい。

重点領域ＧＥＡ内の各画素の画素値が決定されたら、次のステップＳ２２０（図６）では、高解像度化処理部２１８は、高解像度静止画像Ｇの非重点領域ＧＮＡ内の画素の画素値を決定する。この非重点領域ＧＮＡは、重点領域ＧＥＡ以外の残りの領域であり、基準フレーム画像Ｆ０の非重点領域ＮＡと同じ画像を表す領域である。第１実施例では、高解像度化処理部２１８は、基準フレーム画像Ｆ０に周知のバイ・キュービック法を適用することによって、非重点領域ＧＮＡ内の画素の画素値を決定する。また、バイ・キュービック法に限らず、バイ・リニア法、または、ニアレストネイバ法等、種々の補間方法を適用することが可能である。

高解像度静止画像Ｇ内の全ての画素の画素値が決定されたら、次のステップＳ１３０（図４）では、高解像度化処理部２１８は、高解像度静止画像Ｇを表す高解像度静止画像データを生成する。

図９は、高解像度静止画像データの生成後に表示されるデータ処理部２１０の操作表示画面３０２を示す説明図である。この操作表示画面３０２は、図３の操作表示画面３００と同じ画像表示領域３１０を有している。この画像表示領域３１０には、生成された高解像度静止画像Ｇが表示されている。また、操作表示画面３０２は、戻るボタン３４０と、プリントボタン３４２と、保存ボタン３４４とを有している。ユーザが戻るボタン３４０を操作すると、データ処理部２１０による処理が最初の状態に戻る。ユーザがプリントボタン３４２を操作すると、高解像度静止画像Ｇがコンピュータ２００に接続されたプリンタ（図示せず）によって印刷される。ユーザが保存ボタン３４４を操作すると、高解像度静止画像データを格納する画像データファイルが、コンピュータ２００の図示しないメモリ（例えば、ＨＤＤやＲＡＭ）に保存される。

このように、第１実施例では、高解像度静止画像Ｇを重点領域ＧＥＡと非重点領域ＧＮＡとに区分し、非重点領域ＧＮＡ内の画素の画素値を、重点領域ＧＥＡ内の画素よりも少ない数のフレーム画像を用いて決定している。従って、高解像度静止画像データを生成するための処理時間を大幅に短縮することが可能となる。

また、第１実施例では、フレーム画像選択部２１２は、輝度差の大きなブロックを重点領域ＧＥＡとして採用しているので、ユーザが着目している可能性の高い撮像対象を表す領域を重点領域ＧＥＡとして採用することができる。その結果、ユーザが着目している可能性の高い撮像対象を鮮明に表す高解像度静止画像データを生成することができる。

なお、重点領域ＧＥＡ内の画素値の決定に用いるフレーム画像の数（以下「重点フレーム画像数」と呼ぶ）は、４以外の任意の数に設定することが可能である。いずれの場合も、フレーム画像選択部２１２は、画素値の決定に必要な数のフレーム画像を選択すればよい。また、高解像度静止画像データの生成に用いる複数のフレーム画像としては、時系列に沿った順番が基準フレーム画像よりも前であるフレーム画像を用いることとしてもよい。

さらに、非重点領域ＧＮＡ内の画素値の決定に用いるフレーム画像の数（以下「非重点フレーム画像数」と呼ぶ）を１よりも大きな数に設定してもよい。この場合には、重点領域ＧＥＡと同様に、補正量推定部２１６（図２）が、フレーム画像毎に、基準フレーム画像Ｆ０の非重点領域ＮＡが表す撮像対象が重なるような相対位置を算出し、さらに、高解像度化処理部２１８が、重点領域ＧＥＡと同様の方法に従って、非重点領域ＧＮＡ内の画素の画素値を決定すればよい。但し、非重点フレーム画像数は、重点フレーム画像数よりも少ないことが好ましい。

なお、第１実施例では、高解像度静止画像Ｇが表す画像の範囲と基準フレーム画像Ｆ０が表す画像の範囲とが同じである。従って、図４のステップＳ１１０では、領域区分部２１４は、高解像度静止画像Ｇが表す画像領域を重点領域ＧＥＡと非重点領域ＧＮＡとに区分しているということができる。

Ｂ．第２実施例：
図１０は、第２実施例における高解像度静止画像Ｇを生成する処理を示す説明図である。図８に示した第１実施例との差異は、重点領域ＧＥＡと非重点領域ＧＮＡとの間に遷移領域ＧＴＡが設けられている点だけである。

図１０（Ａ）には、領域区分部２１４（図２）が区分した３つの領域ＧＥＡ、ＧＴＡ、ＧＮＡが示されている。重点領域ＧＥＡは、上述した第１実施例と同様に決定される。遷移領域ＧＴＡは、重点領域ＧＥＡの周囲を取り囲むように決定される。さらに、領域区分部２１４は、重点領域ＧＥＡと遷移領域ＧＴＡとを除いた残りの領域を非重点領域ＧＮＡとして区分する。その結果、遷移領域ＧＴＡは、重点領域ＧＥＡと非重点領域ＧＮＡとの間に設けられることとなる。

図１０（Ｂ）は、高解像度静止画像Ｇ内の画素位置と、高解像度化処理部２１８が画素値の決定に用いるフレーム画像の数（以下「使用フレーム画像数」と呼ぶ）と、の関係を示すグラフである。このグラフは、線分Ｌ上の画素位置に対する使用フレーム画像数を示している。この線分Ｌは、図１０（Ａ）に示すように、重点領域ＧＥＡから遷移領域ＧＴＡを経て非重点領域ＧＮＡに至る線分である。

図１０（Ｂ）に示すように、第２実施例では、重点領域ＧＥＡ内の画素に対しては、４つのフレーム画像Ｆ０〜Ｆ３を用いることとしている。また、非重点領域ＧＮＡ内の画素に対しては、１つのフレーム画像Ｆ０を用いることとしている。これらの使用フレーム画像数は、上述の第１実施例と同じである。

ところで、遷移領域ＧＴＡは、領域区分部２１４によって、さらに、内遷移領域ＧＴＡａと外遷移領域ＧＴＡｂとに区分されている。内遷移領域ＧＴＡａは、重点領域ＧＥＡに比較的近い領域であり、外遷移領域ＧＴＡｂは、重点領域ＧＥＡに比較的遠い領域である。また、内遷移領域ＧＴＡａ内の画素に対しては、３つのフレーム画像Ｆ０〜Ｆ２を用いることとしている。さらに、外遷移領域ＧＴＡｂ内の画素に対しては、２つのフレーム画像Ｆ０、Ｆ１を用いることとしている。なお、使用フレーム画像数が２以上の領域では、高解像度化処理部２１８は、重点領域ＧＥＡと同様に指定された数のフレーム画像を用いて画素値を算出する。

図１０（Ｃ）には、高解像度静止画像Ｇの４つの領域ＧＥＡ、ＧＴＡａ、ＧＴＡｂ、ＧＮＡと、各領域に用いられるフレーム画像と、が示されている。内遷移領域ＧＴＡａは、重点領域ＧＥＡを囲み、さらに、外遷移領域ＧＴＡｂは、内遷移領域ＧＴＡａと重点領域ＧＥＡとを囲んでいる。このように、遷移領域ＧＴＡは、重点領域ＧＥＡの周囲を順番に囲む２つの領域ＧＴＡａ、ＧＴＡｂに区分されている。ここで、各領域ＧＴａ、ＧＴｂの使用フレーム画像数（３、２）は、重点フレーム画像数（４つ）よりも小さく、かつ、非重点フレーム画像数（１つ）よりも大きな値に設定されている。さらに、各領域ＧＴａ、ＧＴｂの使用フレーム画像数（３、２）は、重点領域ＧＥＡに近い領域ほど大きくなるように設定されている。

このように、第２実施例では、重点領域ＧＥＡから非重点領域ＧＮＡに向かって、使用フレーム画像数が複数の段階を経て減少する。その結果、区分された領域の境界における使用フレーム画像数の変化が過剰に大きくなることが防止されるので、領域の境界が過剰に目立つことを防止することができる。

なお、遷移領域ＧＴＡを決定する方法としては、重点領域ＧＥＡを取り囲む領域を求める任意の方法を採用することができる。例えば、重点領域ＧＥＡとの最短距離が所定のしきい値内の範囲を遷移領域ＧＴＡとして採用してもよい。また、重点領域ＧＥＡを、その重心を中心として所定の倍率（例えば、１．２倍）で拡大することによって拡大領域を求め、この拡大領域から重点領域ＧＥＡを除いた残りの領域を遷移領域ＧＴＡとして採用してもよい。

また、図１０の例では、遷移領域ＧＴＡを、さらに２つの領域に区分していたが、遷移領域ＧＴＡを区分しないこととしてもよい。この場合には、遷移領域ＧＴＡ内の全ての画素に対して同じ使用フレーム画像数が適用される。但し、遷移領域ＧＴＡを、重点領域ＧＥＡの周囲を順に取り囲む複数の領域に区分し（以下、「部分遷移領域」と呼ぶ）、各部分遷移領域の使用フレーム画像数を、重点領域ＧＥＡに近い領域ほど大きくなるように設定することが好ましい。なお、遷移領域ＧＴＡを複数の領域に区分する方法としては、遷移領域ＧＴＡを決定する方法と同様に、種々の方法を採用することができる。

また、第２実施例のように遷移領域ＧＴＡを用いる場合には、補正量推定部２１６は、重点領域ＧＥＡと遷移領域ＧＴＡとを合わせた画像を表す画素を用いて相対位置を算出することが好ましい。

Ｃ．第３実施例：
図１１は、第３実施例における高解像度静止画像Ｇを生成する処理を示す説明図である。上述した第２実施例との差異は、遷移領域ＧＴＡ内の画素の画素値が、２種類の画素値の混合値で表されている点だけである。第３実施例では、高解像度化処理部２１８（図２）は、遷移領域ＧＴＡ内の画素の画素値を、以下の（１）式に従って決定する。

画素値 ＝ ｒ×重点方法画素値 ＋ （１−ｒ）×非重点方法画素値 ...（１）

ここで、重点方法画素値とは、重点領域ＧＥＡと同じ方法を用いて得られる画素値である。第３実施例では、重点領域ＧＥＡ内の画素値を４つのフレーム画像Ｆ０〜Ｆ１を用いて決定することとしている。従って、重点方法画素値は、４つのフレーム画像Ｆ０〜Ｆ１を用いて決定された画素値である。一方、非重点方法画素値とは、非重点領域ＧＮＡと同じ方法を用いて得られる画素値である。第３実施例では、非重点領域ＧＮＡの画素値を１つのフレーム画像Ｆ０を用いて決定することとしている。従って、非重点方法画素値は、１つのフレーム画像Ｆ０を用いて決定された画素値である。また、ｒは荷重である。この荷重ｒは、重点領域ＧＥＡとの最短距離に応じて決まる値である。

図１１は、高解像度静止画像Ｇ内の画素位置と、荷重ｒと、の関係を示すグラフである。横軸は、図１０（Ｂ）のグラフと同じである。縦軸は荷重ｒを示している。重点領域ＧＥＡ内においては、荷重ｒは１．０に設定されている。また、非重点領域ＧＮＡ内においては、荷重ｒは０．０に設定されている。遷移領域ＧＴＡ内においては、荷重ｒは、重点領域ＧＥＡに近いほど大きくなるように、１．０から０．０まで連続的に変化している。

このように、第３実施例では、重点領域ＧＥＡから非重点領域ＧＮＡへ向かって、重点方法画素値の重み（ｒ）が連続的に減少し、その代わりに、非重点方法画素値の重み（１−ｒ）が連続的に増加する。その結果、重点領域ＧＥＡと非重点領域ＧＮＡとの間で領域の境界が過剰に目立つことを防止することができる。

なお、荷重ｒの形式としては、重点領域ＧＥＡに近いほど大きな値を定める任意の形式を採用することができる。例えば、荷重ｒが、重点領域ＧＥＡとの最短距離の増加に伴って減少する形式を採用してもよい。また、遷移領域ＧＴＡ内における最短距離の一部の範囲において荷重ｒが一定値であってもよく、また、最短距離の変化に対して荷重ｒが不連続的に変化してもよい。また、最短距離に応じて値が変化する形式に限らず、例えば、図１０（Ｃ）の例と同様に、遷移領域ＧＴＡを、重点領域ＧＥＡの周囲を順に取り囲む複数の部分遷移領域に区分し、各部分遷移領域の荷重ｒを、重点領域ＧＥＡに近い領域ほど大きくなるように設定する形式を採用してもよい。

Ｄ．第４実施例：
図１２は、重点領域を決定するための操作表示画面３０４を示す説明図である。図５に示す第１実施例との差異は、領域区分部２１４が、領域の区分を自動的に決定する動作モードに加えて、ユーザが重点領域を決定することができる動作モードを有している点だけである。この操作表示画面３０４は、領域区分部２１４（図２）が領域を区分する際に（図４：ステップＳ１１０）、ディスプレイ２２０（図１）に表示される。

この操作表示画面３０４は、図３の操作表示画面３００と同じ画像表示領域３１０を有している。この画像表示領域３１０には、基準フレーム画像が表示されている。また、操作表示画面３０４は、重点領域を指定するためのボタン３５０〜３５６を有している。自動ボタン３５０は、上述した第１実施例と同様に、領域区分部２１４（図２）が自動的に重点領域を決定するためのボタンである。他のボタン３５２〜３５６は、ユーザが重点領域を指定するためのボタンである。例えば、ユーザが楕円ボタン３５４を操作すると、ユーザは、画像表示領域３１０を操作することによって楕円状の重点領域を指定することができる。図１２の例では、ユーザによって指定された重点領域ＥＡｄが画像表示領域３１０に示されている。この状態でユーザがＯＫボタン３６０を操作すると、領域区分部２１４は、操作表示画面３０４に対して設定されたユーザの指示を受け取り、受け取ったユーザの指示で指定された重点領域ＥＡｄに従って、基準フレーム画像を複数の領域に区分する（図４：ステップＳ１１０）。以後、データ処理部２１０は、ステップＳ１２０以下の処理を実行する。

このように、第４実施例では、ユーザが重点領域を指定することができるので、ユーザの好みの撮像対象を鮮明に表す高解像度静止画像データを生成することができる。

なお、図１２の例では、操作表示画面３０４には、楕円ボタン３５４に加えて、矩形の重点領域を指定するための矩形ボタン３５２と、多角形の重点領域を指定するための多角形ボタン３５６と、が設けられている。ただし、ユーザが指定する重点領域の形と大きさとは、これらとは異なる任意のものを採用することができる。

また、操作表示画面３０４の画像表示領域３１０には、予め、領域区分部２１４が自動的に設定した重点領域を表示することとしてもよい。さらに、ユーザが画像表示領域３１０を操作することによって重点領域を修正することができることとしてもよい。

Ｅ．第５実施例：
図１３は、第５実施例において、複数のフレーム画像Ｆ０ａ〜Ｆ３ａから、高解像度静止画像Ｇａを生成する様子を示す説明図である。図８に示す第１実施例との差異は、所定の複数（重点フレーム画像数）のフレーム画像Ｆ０ａ〜Ｆ３ａの中から、重点領域ＧＥＡａを表す部分の画像の形状が互いに類似しているもののみを選択して用いる点だけである。

これらのフレーム画像Ｆ０ａ〜Ｆ３ａは、人物を表す画像である。基準フレーム画像Ｆ０ａでは、人物を表す領域が、重点領域ＥＡａとして区分されている。また、各対象フレーム画像Ｆ１ａ〜Ｆ３ａには、補正済重点領域Ｆ１ＭＥＡａ〜Ｆ３ＭＥＡａが示されている。これらの補正済重点領域Ｆ１ＭＥＡａ〜Ｆ３ＭＥＡａは、各対象フレーム画像の相対位置（ｕ１ａ、ｖ１ａ、δ１ａ〜ｕ３ａ、ｖ３ａ、δ３ａ）に従って決まる領域であり、重点領域ＥＡａと同様に人物を表す領域である。ただし、４つ目のフレーム画像Ｆ３ａでは、人物の顔の向きが、他のフレーム画像Ｆ０ａ〜Ｆ３ａと比べて変わっている。その結果、これら４つの領域ＥＡａ、Ｆ１ＭＥＡａ、Ｆ２ＭＥＡａ、Ｆ３ＭＥＡａの画素の画素値を用いて重点領域ＧＥＡａ内の画素の画素値を決定すると、形状が異なる画像が合成されるので、重点領域ＧＥＡａの画像がぼやけてしまう可能性がある。

そこで、第５実施例では、高解像度化処理部２１８（図２）は、３つの補正済重点領域Ｆ１ＭＥＡａ〜Ｆ３ＭＥＡａの中から、基準フレーム画像Ｆ０ａの重点領域ＥＡａと画像の形状が類似しているものを選択する。高解像度化処理部２１８は、このような画像の形状を、画像のパターンマッチングや特徴点の位置関係を比較する方法等の種々の周知の方法を用いて比較することができる。例えば、重点領域ＥＡａと補正済重点領域Ｆ１ＭＥＡａとを比較する場合には、まず、補正済重点領域Ｆ１ＭＥＡａを、対象フレーム画像Ｆ１ａの相対位置（ｕ１、ｖ１、δ１）に従って位置補正を行い、重点領域ＥＡａ上に重ね合わせる。次に、各領域ＥＡａ、Ｆ１ＭＥＡａから特徴点を抽出し、抽出した特徴点の位置のズレが所定値よりも小さい場合に類似しているものと判断すればよい。ここで、特徴点が複数ある場合には、位置のズレの累積値を用いて判断してもよい。

このようにして、重点領域ＧＥＡａ（重点領域ＥＡａ）を表す領域の画像の形状が互いに類似しているフレーム画像を選択したら、高解像度化処理部２１８は、重点領域ＧＥＡａ内の画素値を、選択したフレーム画像のみを用いて決定する。その結果、重点領域ＧＥＡａが表す画像がぼやけてしまうことを抑制することができる。図１３の例では、基準フレーム画像Ｆ０ａと、２つの対象フレーム画像Ｆ１ａ、Ｆ２ａとが用いられている。このように、この実施例では、選択されたフレーム画像には基準フレーム画像Ｆ０が含まれている。

なお、図１０に示す実施例のように遷移領域を設けて使用フレーム画像数を複数の段階を経て変化させる場合には、各領域の使用フレーム画像数を、実際に重点領域ＧＥＡの画素値の算出に用いるフレーム画像数（修正後の重点フレーム画像数）に従って修正すればよい。また、図１１に示す実施例のように、重点方法画素値と非重点方法画素値とを用いる場合には、重点方法画素値を、実際に重点領域ＧＥＡの画素値の算出に用いるフレーム画像を用いて決定すればよい。

Ｆ．第６実施例：
図１４は、第６実施例における重点領域を決定する様子を示す説明図である。図５に示す第１実施例との差異は、領域区分部２１４が、フレーム画像に関連付けられた合焦位置に基づいて重点領域を決定する点だけである。

本実施例では、デジタルカメラ１００は、動画像データと、撮影情報と、を含む動画像データファイルを生成する機能を有している。撮影情報は、デジタルカメラ１００で動画像データを生成したときの種々の条件や設定値を含んでいる。本実施例では、撮影情報に、フレーム画像内における合焦位置が含まれている。合焦位置とは、フレーム画像内において、撮像時に焦点が合っていた位置を意味している。図１４には、このような合焦位置が関連付けられたフレーム画像の一例が示されている。図１４の例では、木と花とを表す基準フレーム画像Ｆ０ｅ上に、複数の合焦位置候補ＦＰが重ねて示されている。これらの合焦位置候補ＦＰは、デジタルカメラ１００に予め設定されているものである。ここで、黒く塗りつぶされている合焦位置候補ＦＰは、撮影時に焦点が合っていた合焦位置候補ＦＰを示している。この静止画像Ｆ０ｅでは、花に焦点が合っている。デジタルカメラ１００は、撮影時にこのような合焦位置を各フレーム画像毎に検出し、撮影情報として動画像データファイルに格納する。

このような合焦位置が関連付けられたフレーム画像を用いる場合には、領域区分部２１４（図２）は、合焦位置を用いて重点領域を決定することができる。本実施例では、領域区分部２１４は、基準フレーム画像Ｆ０ｅを図５の例と同様に複数のブロックに分割し、さらに、合焦位置を含むブロックと合焦位置に接しているブロックとを重点領域ＥＡｅとして選択する。図１４の例では、花を表すブロックが重点領域ＥＡｅとして選択されている。

この重点領域ＥＡｅについては、以下のように説明することができる。合焦位置は、ユーザがデジタルカメラ１００を操作することによって、フレーム画像内の任意の位置に設定可能である。すなわち、合焦位置は、ユーザが着目している撮像対象を表す位置を示す可能性が高い。従って、合焦位置に近いブロックを重点領域として採用すれば、ユーザが着目している可能性の高い撮像対象を表す領域を重点領域として採用することができる。その結果、ユーザが着目している可能性の高い撮像対象を鮮明に表す高解像度静止画像データを生成することができる。

なお、合焦位置に基づいて重点領域を決定する方法としては、合焦位置を含むブロックと合焦位置に接しているブロックとを選択する方法に限らず、他の種々の方法を採用することができる。例えば、基準フレーム画像の内の合焦位置との最短距離が合焦しきい値以下である範囲を重点領域として採用してもよい。ここで、合焦しきい値を予め実験的に決定しておいてもよく、また、ユーザが合焦しきい値を指定することとしてもよい。なお、合焦位置に基づいて重点領域を決定する方法としては、一般に、合焦位置を含む一部の領域を採用する任意の方法を採用することができる。

なお、本実施例では、領域区分部２１４は、基準フレーム画像の合焦位置のみを用いて重点領域を決定することとしたが、この代わりに、複数のフレーム画像（基準フレーム画像と対象フレーム画像）のそれぞれに関連付けられた全ての合焦位置を用いることとしてもよく、また、複数のフレーム画像の全てに共通する合焦位置のみを用いることとしてもよい。

また、デジタルカメラ１００に、撮像情報としてフレーム画像内における被写体位置を記録する機能を実現させてもよい。ここで、被写体位置とは、撮像する際にユーザがデジタルカメラ１００に対して設定した静止画像内の被写体の位置を意味している。このような被写体位置が関連付けられたフレーム画像を用いる場合には、領域区分部２１４は、合焦位置を用いる場合と同様に、被写体位置を用いて重点領域を決定することができる。

Ｇ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

変形例１：
上述の各実施例では、高解像度静止画像が基準フレーム画像と同じであったが、異なっていても良い。例えば、図１２の例でユーザが重点領域ＥＡｄを指定するのと同様に、ユーザが基準フレーム画像Ｆ０を見ながら高解像度静止画像として用いる領域（以下「高解像度静止画像領域」と呼ぶ）を任意に指定することとしてもよい。この場合も、領域区分部２１４（図２）がユーザの指示を受け取って領域を区分することとすればよい。

ここで、領域区分部２１４がユーザの指示を受け取る際に、複数の原画像（例えば、フレーム画像Ｆ０〜Ｆ４）を重ね合わせた重畳画像を操作表示画面に表示することとしてもよい。この際、補正量推定部２１６が、各原画像の全体を用いて決定した相対位置（以下「全体相対位置」と呼ぶ）を用いて位置補正すればよい。特に、フレーム画像間においてデジタルカメラ１００の向き（撮影範囲）が大きく変化している場合には、各フレーム画像における共通の撮像対象を表す部分の大きさが小さくなる傾向がある。このような場合には、全てのフレーム画像（原画像）が透けて見えるように重ね合わされた重畳画像を表示すれば、ユーザは、複数のフレーム画像（原画像）が重なる領域を容易に高解像度静止画像領域として指定することができる。

変形例２：
領域を区分する方法としては、上述した各実施例の方法に限らず、他の任意の方法を採用することが可能である。例えば、領域区分部２１４（図２）が、高解像度静止画像Ｇの中央に位置する所定の一部の領域を重点領域ＧＥＡとして用いることとしてもよい。こうすれば、画像中央に位置する撮像対象を鮮明に表す高解像度静止画像データを生成することができる。

また、上述の各実施例において、領域区分部２１４（図２）が自動的に重点領域を選択する場合には、互いに離れた複数の領域が重点領域として選択される可能性がある。このような場合には、補正量推定部２１６が各重点領域毎に相対位置を算出し、高解像度化処理部２１８が各重点領域毎に画素値を決定すればよい。これは、ユーザが複数の領域を重点領域として指定する場合も同じである。一方、領域区分部２１４が、選択された複数の領域の中の１つの領域を重点領域として採用することとしてもよい。例えば、複数の領域の中の面積が最も大きい領域を重点領域として採用してもよい。いずれの場合も、重点領域と非重点領域とは、連続する複数の画素が連結した領域であることが好ましい。

変形例３：
上述した各実施例では、画像処理として高解像度化処理のみを行っていたが、これに加えて他の種類の画質調整処理を実行してもよい。例えば、高解像度静止画像データに対して、コントラスト調整処理や、明るさ調整や、シャープネス調整処理等を行ってもよい。ここで、重点領域ＧＥＡと非重点領域ＧＮＡとで、処理の程度が異なることが好ましい。例えば、重点領域ＧＥＡに対して、非重点領域ＧＮＡと比べて、よりコントラストを強くするコントラスト調整を実行してもよく、より明るさを高める明るさ調整を実行してもよく、よりシャープネスを強調するシャープネス調整を実行してもよい。こうすれば、重点領域ＧＥＡが表す撮像対象をより目立たせることができる。

変形例４：
上述の各実施例では、動画像データはノンインターレース方式のフレーム画像データで構成されていたが、本発明は、インターレース方式の動画像データにも適用することができる。この場合には、奇数番目の走査線の画像データから構成される奇数フィールドの静止画像データと、偶数番目の走査線の画像データから構成される偶数フィールドの静止画像データと、から生成される静止画像データ（１画面分の全走査線を含む画像を表す）をフレーム画像データ（原画像）として用いることができる。

変形例５：
上述の各実施例では、データ処理部２１０は、高解像度静止画像の生成に用いる静止画像（「原画像」とも呼ぶ）として、動画像から抽出した複数のフレーム画像を用いているが、このような原画像としては、同じ撮像対象を表す部分を互いに含む任意の複数の静止画像を用いることができる。例えば、デジタルスチルカメラで連写することによって生成した複数の独立した静止画像を原画像として用いてもよい。この場合も、データ処理部２１０（図２）は、複数の静止画像の中の１つを基準原画像（第１実施例における「基準フレーム画像」に相当する）として用い、他の所定数の静止画像を対象原画像（第１実施例における「対象フレーム画像」に相当する）として用いることによって、上述の各実施例と同様に高解像度静止画像を生成することができる。

変形例６：
上述の各実施例では、データ処理部２１０が原画像（例えば、動画像や静止画像）をデジタルカメラ１００から受け取ることとしたが、他の種々の装置から受け取ることとしてもよい。例えば、ＤＶＤ−ＲＯＭ等の光ディスクメディアや、コンピュータ２００に設けられたハードディスクや、携帯用メモリ等から受け取ることとしてもよい。

変形例７：
上述の各実施例において、画像生成装置（例えば、デジタルカメラ）、または、画像出力装置（例えば、プリンタやモニタ）が、データ処理部２１０の機能の一部、または、全部を実行する構成としてもよい。

変形例８：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

本発明の一実施例としての画像処理システムの構成を示す説明図。 第１実施例におけるデータ処理部２１０の内部構成を示すブロック図。 データ処理部２１０の操作表示画面３００を示す説明図。 高解像度化処理の手順を示すフローチャート。 領域区分部２１４が領域を区分する様子を示す説明図。 部分高解像度化処理の手順を示すフローチャート。 相対位置を決定する様子を示す説明図。 高解像度静止画像Ｇを生成する様子を示す説明図。 高解像度静止画像データ生成後に表示される操作表示画面３０２を示す説明図。 第２実施例における高解像度静止画像Ｇを生成する処理を示す説明図。 第３実施例における高解像度静止画像Ｇを生成する処理を示す説明図。 重点領域を決定するための操作表示画面３０４を示す説明図。 第５実施例における高解像度静止画像Ｇａを生成する様子を示す説明図。 第６実施例における重点領域を決定する様子を示す説明図。

符号の説明

１００...デジタルカメラ
２００...コンピュータ
２１０...データ処理部
２１２...フレーム画像選択部
２１４...領域区分部
２１６...補正量推定部
２１８...高解像度化処理部
２２０...ディスプレイ
２３０...マウス
２４０...キーボード
３００、３０２、３０４...操作表示画面
３１０...画像表示領域
３２０...再生ボタン
３２２...一時停止ボタン
３３０...鮮明化ボタン
３３２...部分鮮明化ボタン
３４０...戻るボタン
３４２...プリントボタン
３４４...保存ボタン
３５０...自動ボタン
３５２...矩形ボタン
３５４...楕円ボタン
３５６...多角形ボタン
３６０...ＯＫボタン
２１０（図２）...データ処理部
ＡＰ...飛行機
ＥＡ、ＥＡａ、ＥＡｄ、ＥＡｅ、ＧＥＡ、ＧＥＡａ...重点領域
ＮＡ、ＮＡａ、ＧＮＡ、ＧＮＡａ...非重点領域
Ｇ、Ｇａ...高解像度静止画像
ＧＴＡ...遷移領域
ＧＴＡａ...内遷移領域
ＧＴＡｂ...外遷移領域
Ｆ０、Ｆ０ａ、Ｆ０ｅ...基準フレーム画像
Ｆ１、Ｆ２、Ｆ３、Ｆ１ａ、Ｆ２ａ、Ｆ３ａ...対象フレーム画像
Ｆ１ＥＡ...対象重点領域
Ｆ１ＭＥＡ、Ｆ２ＭＥＡ、Ｆ３ＭＥＡ...補正済重点領域
Ｌ...線分
ＦＰ...合焦位置候補

Claims (10)

1. 画素密度が比較的低い低解像度画像から、画素密度が比較的高い高解像度画像を生成する画像処理装置であって、
   前記高解像度画像が表す画像の領域となるべき領域を重点領域と非重点領域とを含む複数の領域に区分する領域区分部と、
   前記重点領域における前記高解像度画像の画素値を、２以上の第１の枚数の前記低解像度画像を用いて決定するとともに、前記非重点領域における前記高解像度画像の画素値を、前記第１の枚数よりも少ない第２の枚数の前記低解像度画像を用いて決定する高解像度化処理部と、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記複数の領域は、さらに、前記重点領域を囲む遷移領域を含み、
   前記高解像度化処理部は、前記遷移領域における前記高解像度画像の各画素の画素値を、前記第１の枚数の前記低解像度画像を用いて決定した第１の画素値に第１の重みを付した値と、前記第２の枚数の前記低解像度画像を用いて決定した第２の画素値に第２の重みを付した値と、を加算することによって決定し、
   前記第１の重みは前記画素の位置が前記重点領域に近いほど大きく、さらに、前記第２の重みは前記画素の位置が前記重点領域に近いほど小さい、
   画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記複数の領域は、さらに、前記重点領域を囲む遷移領域を含み、
   前記高解像度化処理部は、前記遷移領域における前記高解像度画像の画素値を、前記第１の枚数よりも少なく、かつ、前記第２の枚数よりも多い枚数の前記低解像度画像を用いて決定する、
   画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記領域区分部は、前記遷移領域を、さらに、前記重点領域の周囲を順に取り囲む複数の部分遷移領域に区分し、
   前記高解像度化処理部が前記部分遷移領域の画素値の決定に用いる前記低解像度画像の枚数は、前記部分遷移領域毎に異なっているとともに、前記重点領域に近い部分遷移領域ほど大きいことを特徴とする、
   画像処理装置。
5. 請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
   前記領域区分部は、前記領域の区分をユーザの指示に従って決定するユーザ指定モードを有する、画像処理装置。
6. 請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
   前記領域区分部は、前記領域の区分を、前記複数の低解像度画像間における同じ位置の輝度差に基づいて決定する輝度差決定モードを有する、画像処理装置。
7. 請求項１ないし請求項６のいずれかに記載の画像処理装置であって、
   前記複数の低解像度画像の少なくとも一部には、前記低解像度画像における撮影時の合焦位置に関する合焦位置情報が関連付けられており、
   前記領域区分部は、前記領域の区分を前記合焦位置情報に基づいて決定する合焦位置決定モードを有する、画像処理装置。
8. 請求項１ないし請求項７のいずれかに記載の画像処理装置であって、
   前記高解像度化処理部は、前記第１の枚数の前記低解像度画像の中から、前記高解像度画像の前記重点領域を表す部分の画像の形状が互いに類似している低解像度画像を選択して用いることによって前記重点領域の画素値を決定する、画像処理装置。
9. 画素密度が比較的低い低解像度画像から、画素密度が比較的高い高解像度画像を生成する画像処理方法であって、
   （ａ）前記高解像度画像が表す画像の領域となるべき領域を重点領域と非重点領域とを含む複数の領域に区分する工程と、
   （ｂ）前記重点領域における前記高解像度画像の画素値を、２以上の第１の枚数の前記低解像度画像を用いて決定するとともに、前記非重点領域における前記高解像度画像の画素値を、前記第１の枚数よりも少ない第２の枚数の前記低解像度画像を用いて決定する工程と、
   を備える、画像処理方法。
10. 画素密度が比較的低い低解像度画像から、画素密度が比較的高い高解像度画像を生成する画像処理をコンピュータに実行させるためのコンピュータプログラムであって、
    （ａ）前記高解像度画像が表す画像の領域となるべき領域を重点領域と非重点領域とを含む複数の領域に区分する機能と、
    （ｂ）前記重点領域における前記高解像度画像の画素値を、２以上の第１の枚数の前記低解像度画像を用いて決定するとともに、前記非重点領域における前記高解像度画像の画素値を、前記第１の枚数よりも少ない第２の枚数の前記低解像度画像を用いて決定する機能と、
    をコンピュータに実現させるコンピュータプログラム。

Images