JP2008092297A - 画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体 - Google Patents

Abstract

【課題】大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域の仕上がり具合を使用者が容易に確認できるようにすること。
【解決手段】電子的に記録された画像を表示できる画像処理装置において、単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像処理部５４と、上記表示したい画像における高解像度化する領域を指定する操作表示部４２と、上記表示したい画像における、上記操作表示部４２によって指定された局所領域について、上記高解像処理部５４で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として操作表示部４２に表示する小領域選択処理部５６と、を備える。
【選択図】図１

Description

本発明は、複数枚の低解像度画像を用いた超解像処理による高解像度化において、選択した一部の領域における高解像度化効果を容易に確認できる画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体に関する。

特許文献１には、マウスカーソルに付属してウィンドウを表示し、指示した領域の画像を拡大して表示する技術として、マウスカーソルの指示位置周辺の範囲を覆い隠さないように拡大表示するという方法が開示されている。

また、特許文献２には、複数枚の画像から高品位な画像を生成する技術として、複数枚の位置ずれを持つ低解像度画像を用いて、高解像度画像を生成するという方法が開示されている。
特許第２９４３７３４号公報 特許第２８２８１３８号公報

しかしながら、前述の特許文献１に開示されている技術では、画像を拡大する高解像度化方法の詳細が明記されておらず、例えば記録された画像の周波数帯域よりも高い周波数帯域で復元するような高解像度化ができないため、高品質な画像を表示することができない。

また、前述の特許文献２に開示されている技術のような超解像処理で、大領域に対して処理を行う場合、複数のフレーム間での被写体の動き推定や高解像度化推定の際に、多々、反復演算を行うため、演算時間が多大になる。さらに、フレーム間での被写体の動きが非常に大きい場合、大領域の動き推定処理における演算時間も多大になる。

したがって、記録された画像内一部の領域の高解像度化画像を使用者が確認したい場合、大領域の高解像度化を行ってから確認するのでは、多大な時間を費やすことになり不便である。

本発明は、上記の点に鑑みてなされたもので、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域の仕上がり具合を使用者が容易に確認できる画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体を提供することを目的とする。

本発明の画像処理装置の一態様は、電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記表示したい画像における、上記局所領域指定手段によって指定された局所領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする。

また、本発明の画像処理装置の別の態様は、電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記局所領域指定手段によって指定された局所領域に含まれる小領域を選択する小領域選択手段と、
上記表示したい画像における、上記小領域選択手段が選択した小領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする。

本発明の画像処理プログラムの一態様は、電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記表示したい画像における、上記指定された局所領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させることを特徴とする。

また、本発明の画像処理プログラムの別の態様は、電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記指定された局所領域に含まれる小領域を選択する手順と、
上記表示したい画像における、上記選択した小領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させることを特徴とする。

本発明の画像製造方法の一態様は、
上記本発明の画像処理装置の一態様又は別の態様を用いて、所望の画像についての仕上がり推定画像を確認する処理と、
確認した所望の画像に対して該所望の画像が有する周波数帯域よりも広い周波数帯域を有する画像を生成して画像メディアを製造する処理と、
からなることを特徴とする。

本発明のコンピュータ読み取り可能な記録媒体の一態様は、
当該画像が、被写体の動きを推定する際に用いた電子的に記録された複数の画像のうち基準となる画像であるのか上記基準となる画像に対する参照画像であるのかを示す情報と、当該画像が上記参照画像である場合には上記基準となる画像に対して推定された動き推定値と、を付加情報として含む画像を記録したことを特徴とする。

本発明によれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
以下、本発明を実施するための最良の形態を図面を参照して説明する。

図１は、本発明の画像処理装置の第１実施形態としての電子スチルカメラ１０のブロック構成図である。この電子スチルカメラ１０は、絞り１２Ａを内包するレンズ系１２、分光ハーフミラー系１４、シャッタ１６、ローパスフィルタ１８、ＣＣＤ撮像素子２０、Ａ／Ｄ変換回路２２、ＡＥ用フォトセンサ２４、ＡＦモータ２６、撮像制御部２８、画像処理部３０、画像用バッファ３２、圧縮部３４、メモリカードＩ／Ｆ部３６、メモリカード３８、プリンタＩ／Ｆ部４０、操作表示部４２、撮像条件設定部４４、連写判定部４６、画素混合判定部４８、切替部５０、連写用バッファ５２、高解像処理部５４、小領域選択処理部５６を備える。

絞り１２Ａを内包するレンズ系１２、分光ハーフミラー系１４、シャッタ１６、ローパスフィルタ１８及びＣＣＤ撮像素子２０は、光軸に沿って配置されている。本実施形態では、ＣＣＤ撮像素子２０として単板ＣＣＤ撮像素子の使用を前提としている。分光ハーフミラー系１４から分岐した光束はＡＥ用フォトセンサ２４に導かれる。また、レンズ系１２には、合焦作業時に該レンズ系１２の一部（フォーカスレンズ）を移動するためのＡＦモータ２６が接続されている。

ＣＣＤ撮像素子２０からの信号は、Ａ／Ｄ変換回路２２でデジタルデータ化される。このデジタルデータは、画像処理部３０、切替部５０を介して画像用バッファ３２または連写用バッファ５２へ入力される。または、画像処理部３０を介することなく、切替部５０を介して画像用バッファ３２または連写用バッファ５２へ入力される。切替部５０は、連写判定部４６からの入力に従って、その切替動作を行うようになっている。

画像用バッファ３２及び連写用バッファ５２からの出力は、圧縮部３４へ入力される場合と、メモリカードＩ／Ｆ部３６を介して、脱着可能なメモリカード３８へ入力される場合がある。また、圧縮部３４の出力も、上記メモリカードＩ／Ｆ部３６を介して上記脱着可能なメモリカード３８へ入力が行える。

Ａ／Ｄ変換回路２２及びＡＥ用フォトセンサ２４からの信号は撮像条件設定部４４へ入力されており、撮像条件設定部４４からの信号は撮像制御部２８、連写判定部４６及び画素混合判定部４８へ入力される。撮像制御部２８へは、連写判定部４６及び画素混合判定部４８からも信号が入力される。撮像制御部２８は、それら撮像条件設定部４４、連写判定部４６及び画素混合判定部４８からの信号に基づいて、絞り１２Ａ、ＣＣＤ撮像素子２０及びＡＦモータ２６を制御する。

高解像処理部５４は、モーション推定部５４Ａ及び超解像処理部５４Ｂを備え、メモリカードＩ／Ｆ部３６との入出力により、メモリカード３８の読み書きが可能である。また、プリンタＩ／Ｆ部４０を介してプリンタへ入力が行える。更に、この高解像処理部５４は、操作表示部４２との入出力が可能であり、また、小領域選択処理部５６からの入力を受けるようになっている。小領域選択処理部５６は、メモリカードＩ／Ｆ部３６との入出力により、メモリカード３８の読み書きが可能であり、また、操作表示部４２と入出力が可能である。

図２は、本実施形態における電子スチルカメラ１０の概略の外観構成とプリンタ５８との接続構成を示す図である。同図に示すように、この電子スチルカメラ１０は、操作表示部４２として、カメラ本体１０Ａの上面に配置された電源スイッチ４２Ａ及びレリーズスイッチ４２Ｂと、カメラ本体１０Ａの背面に配された液晶表示パネル４２Ｃ及び操作ボタン４２Ｄと、を有している。カメラ本体１０Ａは、その内部のプリンタＩ／Ｆ部４０に接続されたケーブル６０によって、プリンタ５８と接続されている。

図３は、本実施形態における電子スチルカメラ１０とそれに接続されたプリンタ５８で行われる処理のフローチャートを示す図である。

即ち、電子スチルカメラ１０は、まず、単数及び複数枚連写撮影を行うことにより、後に行う高解像度化処理に必要となる画像データを取得し、画像ファイルとしてメモリカード３８に記録する（ステップＳ１０）。その後、撮影画像を使用者が選択し、液晶表示パネル４２Ｃに画像を表示し（ステップＳ１２）、高解像度化したい個所の局所領域を指定する（ステップＳ１４）。その際、操作ボタン４２Ｄにより使用者が文字や顔などの一部分を領域選択する。この領域選択は、小領域選択処理部５６により行われるものであり、の詳細については後述する。その後、小領域自動選択モードがＯＮになっているか否かを判定する（ステップＳ１６）。このモードは、使用者が液晶表示パネル４２Ｃに表示された設定メニューに従って操作ボタン４２Ｄを介して設定できるようになっている。

ここで、小領域自動選択モードがＯＮになっている場合には、被写体領域を正確に再選択するような小領域自動選択処理を行うことで（ステップＳ１８）、上記ステップＳ１４で使用者が指定した局所領域を基に、最適な小領域を自動的に選択する。この小領域自動選択処理も小領域選択処理部５６により行われるものであり、その詳細については後述する。

そして、高解像処理部５４により、上記選択された領域に対し、上記ステップＳ１０で撮影した単数または複数枚の画像を使用して、高解像度化処理を行い（ステップＳ２０）、選択領域の高解像度画像を液晶表示パネル４２Ｃに画面表示する（ステップＳ２２）。この高解像度化処理及び画面表示それぞれの詳細については後述する。使用者は、この画面表示された選択領域の高解像度画像を確認することで、プリンタ５８での印刷またはメモリカード３８へのファイルとしての保存を行うかどうかの判断ができると共に、選択された領域である関心領域における高解像度化効果を確認できる。その後、使用者が同じ関心領域に対して、再度、高解像度化を行おうとした場合（ステップＳ２４）、制御パラメータを調整し直すことで（ステップＳ２６）、上記ステップＳ２０でその新たに調整した制御パラメータで高解像度化処理を行う。なお、制御パラメータの調整方法の詳細については後述する。

また、パラメータ調整を行わず（ステップＳ２４）、再度、領域選択する場合には（ステップＳ２８）、画面表示された選択領域の高解像度画像を消し、上記ステップＳ１２で撮影画像を画面表示して、上記ステップＳ１４で使用者が再度、局所領域を指定することになる。

而して、使用者が画面表示された選択領域の高解像度画像を確認した結果、操作ボタン４２Ｄによりプリンタ５８での印刷を指示すると（ステップＳ３０）、接続されたプリンタ５８への印刷指示処理を実行する（ステップＳ３２）。なおこの場合、プリンタ５８での印刷対象は、上記選択領域の高解像度画像となる。

しかしながら、画像全体について高解像処理部５４で高解像度化処理を実施した上で、その画像全体の高解像度画像の印刷を行うこともできる。即ち、上記ステップＳ２２で選択領域の高解像度画像を確認した結果、使用者が画像全体を高解像度化したいと考えた場合には、上記ステップＳ２８にて再度の領域選択を選択し、上記ステップＳ１４にて局所領域として画像全体を指定すれば良い。

あるいは、上記ステップＳ３０で印刷指示があった場合、選択領域の高解像度画像を印刷するとともに、自動的に、画像全体について高解像処理部５４で高解像度化処理を実施した上で、その画像全体の高解像度画像の印刷を行うようにしても構わない。また、選択領域／画像全体の何れかまたは両方の高解像度画像を印刷するかを指定できるようにしても良い。

また、使用者が画面表示された選択領域の高解像度画像を確認した結果、操作ボタン４２Ｄによりファイルとしての保存を指示すると（ステップＳ３４）、高解像度化に使用した元の撮影画像の消去の確認画像が表示されるので、使用者が消去を指示すると（ステップＳ３６）、元の撮影画像は消去されて（ステップＳ３８）、メモリカード３８へ当該選択領域の高解像度画像をファイルとして保存する（ステップＳ４０）。この場合も、印刷の場合と同様に、画像全体について高解像処理部５４で高解像度化処理を実施した上で、その画像全体の高解像度画像をファイルとして保存するようにしても良いし、選択領域／画像全体の何れかまたは両方の高解像度画像をファイルとして保存するかを指定できるようにしても良い。

なお、上記ステップＳ１０において、単数および複数枚の撮影を行う際、撮影方式として、通常撮影以外に画素混合読み出し撮影を行う場合がある。画素混合読み出し撮影とは、図４に示すように、Ｂａｙｅｒ配列の色フィルタを前面に配置したＣＣＤ撮像素子２０からの信号の読み出しにおいて、同じカラーチャンネルの複数画素信号を加算して読み出すことで、画像の解像度は下がるが、感度を複数倍にして画像の信号を読み出す方式である。これに対して、通常撮影は、画素混合読み出しを行わずに、Ｂａｙｅｒ配列の色フィルタを前面に配置したＣＣＤ撮像素子２０からの信号の読み出しにおいて、画素毎に信号を読み出す方式である。

以下、電子スチルカメラ１０で行われる上述の処理について、データの流れに基づいてさらに説明する。

まず、使用者がレリーズスイッチ４２Ｂを半押ししたり、あるいは電源スイッチ４２ＡをＯＮ状態にすることにより、撮像制御部２８は、絞り１２Ａ、シャッタ１６及びＡＦモータ２６の制御を行い、プリ撮影を行う。このプリ撮影では、ＣＣＤ撮像素子２０からの信号がＡ／Ｄ変換回路２２にてデジタル信号化され、画像処理部３０により公知のホワイトバランス、強調処理、補間処理等が施された三板相当の画像信号として、画像用バッファ３２に出力される。

但し、本実施形態で、プリ撮影後の本撮影においては、画像保存形式が非圧縮（Ｂａｙｅｒ）の場合は、画像処理部３０で、補間処理を行わず単板状態の画像信号として連写用バッファ５２に出力され、画像保存形式が圧縮の場合は、プリ撮影時と同様に画像処理部３０により補間処理を行い、三板相当の画像信号として連写用バッファ５２に出力される。

なお、画像処理部３０は、画像用バッファ３２や連写用バッファ５２に格納後、処理し、また（バッファ）に格納する場合もある。

上記プリ撮像では、撮像条件設定部４４が本撮像のための撮像条件を決定し、決定した撮影条件を撮像制御部２８及び連写判定部４６に転送する。また、撮像条件設定部４４は、連写判定部４６で決定された撮影条件に基づいて撮影モードの決定を行い、決定した撮影モードの情報を撮像制御部２８及び切替部５０へ転送する。ここで、撮像条件とは、シャッタ速度、絞り値、合焦位置、ＩＳＯ感度などの撮影時に要する各要素に対する設定値の組みである。

撮像条件を求める過程は、撮像条件設定部４４が公知の技術によって行う。

露光量に関するシャッタ速度と絞り値は、レンズ系１２と分光ハーフミラー系１４を介して被写体の光量をＡＥ用フォトセンサ２４にて測定した結果に基づき設定される。測定対象となる領域は、ＡＥ用フォトセンサ２４の前に配置された図示しない絞り機能などから切り換え可能で、スポット測光や中央重点測光や平均測光などの手法で測光される。なお、シャッタ速度と絞り値の組み合わせとしては、事前にその組み合わせを定めてある自動露光方式や、使用者が設定したシャッタ速度にあわせて絞り値を求めるシャッタ速度優先方式や、使用者が設定した絞り値にあわせてシャッタ速度を求める絞り優先方式などが選択できる。

合焦位置は、ＣＣＤ撮像素子２０からの出力信号をＡ／Ｄ変換回路２２にてデジタルデータ化して、この単板状態の画像データからの輝度データを算出し、その輝度データ中のエッジ強度から求められる。即ち、ＡＦモータ２６にてレンズ系１２の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。

ＩＳＯ感度の設定方法は、電子スチルカメラ１０における感度モードの設定によって異なる。電子スチルカメラ１０において感度モードがマニュアル感度モードに設定されている場合には、使用者の設定値によって行う。電子スチルカメラ１０において感度モードが自動感度モードの場合には、レンズ系１２と分光ハーフミラー系１４を介して被写体の光量をＡＥ用フォトセンサ２４にて測定した結果に基づき決定される。即ち、ＡＥ用フォトセンサ２４にて測定した光量が少ない場合に高いＩＳＯ感度に決定し、光量が多い場合に低いＩＳＯ感度に決定する。なお、本実施形態におけるＩＳＯ感度とは、ＣＣＤ撮像素子２０からの信号に対する電気的増幅（ゲインアップ）の程度を表す値であり、この値が大きいほど電気的増幅の程度を高くしている。

而して、使用者がレリーズスイッチ４２Ｂを完全に押すと、撮像条件設定部４４で設定された撮影用パラメータ、連写判定部４６によって決定された撮影方式に基づいて、撮像制御部２８が本撮影を行う。本撮影が行われると、撮影した画像のデータは単数撮影でも複数枚撮影でも、連写用バッファ５２に入力される。切替部５０は、プリ撮影時は画像用バッファ３２へ、本撮影時は連写用バッファ５２へ画像の入力先を切り替える。連写用バッファ５２へ入力された画像データは、画像保存形式が圧縮の場合は、圧縮部３４で画像圧縮を行い、画像保存形式が非圧縮（Ｂａｙｅｒ）の場合は、圧縮部３４へは入力しない。その後、どちらの場合でも画像データは、メモリカードＩ／Ｆ部３６を介して、メモリカード３８に出力する。

次に、上記ステップＳ１４乃至ステップＳ２２で行われる関心領域の決定処理と高解像度画像の画面表示処理について説明する。

使用者は、カメラ本体１０Ａにある操作ボタン４２Ｄを使用して、液晶表示パネル４２Ｃにメモリカード３８にある撮影画像をメモリカードＩ／Ｆ部３６を介して表示する。このとき、液晶表示パネル４２Ｃには、図５（Ａ）に示すように、関心領域指定カーソル４２Ｅが表示される。使用者は、操作ボタン４２Ｄを使用して、図５（Ｂ）に示すように、この関心領域指定カーソル４２Ｅを移動させて、高解像度化したい個所の局所領域を選択する。この際、操作ボタン４２Ｄの操作によって、関心領域指定カーソル４２Ｅの大きさは変更できる。

そして、小領域自動選択モードＯＮでない場合には、この選択された局所領域を関心領域として、メモリカードＩ／Ｆ部３６を介してメモリカード３８内の撮影画像にアクセスし、必要な画像データを使用し、関心領域に対する高解像度化処理を行い、図５（Ｃ）に示すように、液晶表示パネル４２Ｃに画面表示する。この際、低解像度の全体画像における関心領域の表示部分と高解像度画像の表示部分（高解像度画像表示画面４２Ｆ）を重ならないように表示することで、使用者が関心領域の高解像度化効果を確認し易いようにする。またこの際、低解像度の全体画像における関心領域の表示部分については関心領域識別表示４２Ｇとすることで、より比較し易くすることができる。

一方、小領域自動選択モードＯＮの場合には、上記選択された局所領域を基に、色情報、輝度情報等から被写体を検出し、最適な小領域を決定して、それを関心領域とする。そのための小領域選択処理部５６で行う被写体検出、切り出し領域決定の処理は、公知による技術（特開２００５−０７８２３３号公報、特開２００３−２５６８３４号公報など）で行うものとする。そして、その決定した関心領域を、図５（Ｄ）に示すように、関心領域識別表示４２Ｇとして液晶表示パネル４２Ｃに表示して使用者に確認させる。勿論、この決定した関心領域を操作ボタン４２Ｄの操作により移動や大きさ変更を行えるようにすることが好ましい。

そして、メモリカードＩ／Ｆ部３６を介してメモリカード３８内の撮影画像にアクセスし、必要な画像データを使用し、上記決定した関心領域に対する高解像度化処理を行い、図５（Ｅ）に示すように、液晶表示パネル４２Ｃに、低解像度の全体画像における関心領域の表示部分と高解像度画像の表示部分（高解像度画像表示画面４２Ｆ）とが重ならないように表示する。

次に、上記ステップＳ２６で実行される高解像度化処理用制御パラメータの調整例を説明する。上述のようにして、関心領域の高解像度画像が図６（Ａ）に示すように液晶表示パネル４２Ｃに高解像度画像表示画面４２Ｆとして表示された後、使用者が同関心領域に対して制御パラメータを変更して再度、高解像度化処理を行おうとした場合、ステップＳ２４において操作ボタン４２Ｄを使って指示を行うことで、ステップＳ２６において、まず、図６（Ｂ）に示すような制御パラメータを設定するための制御パラメータ設定画面４２Ｈを液晶表示パネル４２Ｃに表示させる。

ここで、制御パラメータには、高解像度化処理に使用する画像枚数（『使用枚数』）、高解像度画像の拡大率（『拡大率』）、画像復元時の評価関数における拘束項の重み係数（『拘束項』）、評価関数の最小化における繰り返し演算回数（『繰り返し回数』）などがある。評価関数及びその拘束項の詳細については後述する。

そして、使用者は操作ボタン４２Ｄの操作によって、変更したい制御パラメータ項目（例えば、図６（Ｃ）に示すような『使用枚数』）を選択し、現在、図６（Ｄ）に示すように、設定されているパラメータを表示させた後、図６（Ｅ）に示すように、変更したいパラメータを選択する。これにより、図６（Ｆ）に示すように、当該制御パラメータが変更される。そして、上記ステップＳ２０に戻って、上記変更された制御パラメータにより高解像度化処理が行われ、ステップＳ２２において再度、高解像度画像を表示することとなる。

なお、上記ステップＳ２０で実行される高解像処理部５４での高解像度化処理は、モーション推定部５４Ａで行う動き推定処理と、超解像処理部５４Ｂで行う超解像処理とからなる。

高解像処理部５４におけるモーション推定部５４Ａは、連写撮影モードにより撮影され、連写用バッファ５２へ入力された複数枚の画像の画像データのうち、関心領域の画像データを用いて、各関心領域の画像データ（フレーム）におけるフレーム間の動き推定を行う。図７は、このモーション推定部５４Ａで実行される動き推定処理のフローチャートを示す図である。

即ち、まず、動き推定の基準となる関心領域の画像データ（基準画像）を１枚読み込む（ステップＳ２０Ａ１）。この基準画像は、例えば複数枚連続して撮影した画像データのうち最初の画像データ（第１フレームの画像）であっても良いし、使用者が任意に指定した画像データ（フレーム）であっても良い。次に、上記読み取った基準画像を、複数の動きで変形させる（ステップＳ２０Ａ２）。

その後、他の関心領域の画像データ（参照画像）を１枚読み込み（ステップＳ２０Ａ３）、この読み込んだ参照画像と上記基準画像を複数変形させたそれぞれの画像列との間の類似度値を算出する（ステップＳ２０Ａ４）。そして、変形させた動きのパラメータと算出した類似度値との関係を用いて、図８に示すような離散的な類似度マップを作成し（ステップＳ２０Ａ５）、その作成した離散的な類似度マップを補完することで、類似度マップの極値を探索して、類似度マップの極値を求める（ステップＳ２０Ａ６）。この求めた極値を持つ変形の動きが推定値となる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。

そしてその後、全ての参照画像において動き推定を行ったか否かを判別し（ステップＳ２０Ａ７）、まだ動き推定をしていない参照画像がある場合には、参照画像のフレーム番号を１つ上げて（ステップＳ２０Ａ８）、上記ステップＳ２０Ａ３へ戻ることで、次の参照画像を読み込んで上記処理を継続する。

而して、対象となる全ての参照画像において動き推定を行ったならば（ステップＳ２０Ａ７）、処理を終了する。

図８は、動き推定をパラボラフィッティングで行った例を示す図である。縦軸は２乗偏差を表し、値が小さいほど類似度が高い。

なお、上記ステップＳ２０Ａ２における基準画像の複数の動きでの変形は、例えば、水平、垂直、回転方向に対して、±１ピクセルの動きパラメータで基準画像を１９通り（２７通り中８通りは同じ変形パターン）に変形させる。この場合、図８の類似度マップの横軸は、変形モーションパラメータを表し、例としては、水平方向，垂直方向，回転方向の組み合わせのモーションパラメータと考えると、負の方から（−１，＋１，−１）、（−１，＋１，０）、（−１，＋１，＋１）の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向から（−１），（０），（＋１）となり、水平方向，垂直方向，回転方向について別々にプロットする。

図９（Ａ）及び（Ｂ）は、参照画像における基準画像への近似を示す。図９（Ａ）に示すような各参照画像は、動き推定値の符号反転した値で画像変形することにより、図９（Ｂ）に示すように基準画像に近似する。

次に、高解像処理部５４の超解像処理部５４Ｂで行う、複数枚の画像を使用して高解像度の画像を復元する画像高解像度化処理（超解像処理）を、図１０のフローチャートを参照して説明する。

即ち、まず、高解像度画像推定に用いるためｋ枚（ｋ≧１）の関心領域の画像データ（低解像度画像ｙ）を読み込む（ステップＳ２０Ｂ１）。ここで、ｋは、上記制御パラメータにおける高解像度化処理に使用する画像枚数（『使用枚数』）として設定されている。そして、それらｋ枚の低解像度画像ｙの中の任意の１枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像ｚを作成する（ステップＳ２０Ｂ２）。なお、このステップＳ２０Ｂ２は、場合により省略することができる。

その後、予め何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーション（例えば、上述したようにモーション推定部５４Ａで動き推定値を求める）により、画像間の位置関係を明らかにする（ステップＳ２０Ｂ３）。そして、光学伝達関数（ＯＴＦ）、ＣＣＤアパーチャ等の撮像特性を考慮した点広がり関数（ＰＳＦ）を求める（ステップＳ２０Ｂ４）。このＰＳＦは、例えばＧａｕｓｓ関数を用いる。

そして、上記ステップＳ２０Ｂ３及びステップＳ２０Ｂ４の情報を元に、評価関数ｆ（ｚ）の最小化を行う（ステップＳ２０Ｂ５）。ただし、ｆ（ｚ）は以下のような形となる。

ここでｙは低解像度画像、ｚは高解像度画像、Ａは画像間モーション（例えばモーション推定部５４Ａで求めた動き推定値）及びＰＳＦ（電子スチルカメラ１０の点拡がり関数、ＣＣＤ撮像素子２０によるダウンサンプリングの比率、色フィルタ配列から構成される）等を含めた撮像システムを表す画像変換行列である。ｇ（ｚ）は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。

そして、上記ステップＳ２０Ｂ５で求めた評価関数ｆ（ｚ）が最小化されたか否かを判別する（ステップＳ２０Ｂ６）。ここで、まだ最小化されていない場合には、高解像度画像ｚをアップデートして（ステップＳ２０Ｂ７）、上記ステップＳ２０Ｂ５に戻る。

而して、上記ステップＳ２０Ｂ５で求めた評価関数ｆ（ｚ）が最小化されたならば、高解像度画像ｚが得られたとして処理を終了する。

図１１は、このような超解像処理を実施する超解像処理部５４Ｂの構成の一例を示す図である。この超解像処理部５４Ｂは、初期画像記憶部５４Ｂ１、畳込み積分部５４Ｂ２、ＰＳＦデータ保持部５４Ｂ３、画像比較部５４Ｂ４、乗算部５４Ｂ５、貼り合せ加算部５４Ｂ６、蓄積加算部５４Ｂ７、更新画像生成部５４Ｂ８、画像蓄積部５４Ｂ９、反復演算判定部５４Ｂ１０、反復判定値保持部５４Ｂ１１、及び補間拡大部５４Ｂ１２から構成される。

即ち、上記連写用バッファ５２からの基準画像を補間拡大部５４Ｂ１２で補間拡大し、その補間拡大画像が初期画像記憶部５４Ｂ１に与えられ、初期画像として記憶される。なお、補間拡大部５４Ｂ１２での補間方法は、バイリニア補間、バイキュービック補間などで補間する。

この初期画像記憶部５４Ｂ１に記憶された初期画像は畳込み積分部５４Ｂ２に与えられ、ＰＳＦデータ保持部５４Ｂ３より与えられるＰＳＦデータと畳込み積分される。ここでのＰＳＦデータは、各フレームのモーションも考慮して与えられる。また、上記初期画像記憶部５４Ｂ１に記憶された初期画像データは同時に画像蓄積部５４Ｂ９に送られ、ここに蓄積される。

上記畳込み積分部５４Ｂ２で畳込み積分された画像データは画像比較部５４Ｂ４に送られ、上記モーション推定部５４Ａで求められた各フレーム毎のモーション（動き推定値）を元に適切な座標位置で、上記連写用バッファ５２より与えられる撮影画像と比較される。そして、その比較された残差は乗算部５４Ｂ５に送られ、ＰＳＦデータ保持部５４Ｂ３より与えられるＰＳＦデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部５４Ｂ６に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部５４Ｂ５からの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。撮影画像１枚分のデータの貼り合せ加算が終るとデータは蓄積加算部５４Ｂ７に送られる。

蓄積加算部５４Ｂ７では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算してゆく。加算された画像データは、更新画像生成部５４Ｂ８に送られる。更新画像生成部５４Ｂ８には、これと同時に、画像蓄積部５４Ｂ９に蓄積されていた画像データが与えられ、この２つの画像データに重みをつけて加算して、更新画像データを生成する。

この更新画像生成部５４Ｂ８で生成された更新画像データは反復演算判定部５４Ｂ１０に与えられ、反復判定値保持部５４Ｂ１１から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部５４Ｂ２に送り上記の一連の処理を繰り返す。

これに対して、反復しない場合は、更新画像生成部５４Ｂ８で生成され該反復演算判定部５４Ｂ１０に入力された更新画像データを、高解像度画像として出力する。

このような一連の処理を行うことで、反復演算判定部５４Ｂ１０から出力される画像は撮影画像よりも高解像度なものとなる。

また、上記ＰＳＦデータ保持部５４Ｂ３で保持されるＰＳＦデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部５４Ａよりフレーム毎のモーションが与えられるようになっている。

以上詳述したように、本第１実施形態によれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できる。

また、使用者が関心のある領域を選択するときに、被写体の一部分だけを指定しても、文字や顔などを含む領域を自動的に抽出することで、使用者の領域選択操作の支援することができる。

［第２実施形態］
上記第１実施形態で説明したように、選択された関心領域の高解像度画像を画面表示する際に、複数枚画像においてフレーム間の相対的な位置関係を示す動きパラメータを算出している。本第２実施形態では、そうして算出した動きパラメータなどの動き情報を保存しておき、同じ複数枚画像に対して別領域の高解像度化要求があった際に、その保存した動き情報を再利用することで、動き推定処理の精度向上、または、高速化しようとするものである。

そのため、本発明の撮像装置の第２実施形態としての電子スチルカメラ１０は、図１２に示すように、上記第１実施形態における構成に加えて、高解像処理部５４が入出力可能な動き情報用バッファ６２を備える。そして、本第２実施形態では、図１３に示すように、上記ステップＳ１６で小領域自動選択モードがＯＮとなっていない場合、あるいは上記ステップＳ１８で小領域自動選択処理を実施した後、上記動き情報用バッファ６２に既に動き情報が保存済みであるか否かを判別する（ステップＳ４２）。

ここで、未だ動き情報を保存していない場合には、高解像処理部５４により、上記選択された領域に対し、上記ステップＳ１０で撮影した単数または複数枚の画像を使用して、高解像度化処理を行う。即ち、モーション推定部５４Ａにより、動き推定処理を実施して、動き情報を算出し（ステップＳ２０Ａ）、その算出した動き情報を用いて、超解像処理部５４Ｂにて超解像処理を実施する（ステップＳ２０Ｂ）。その後、選択領域の高解像度画像を液晶表示パネル４２Ｃに画面表示する（ステップＳ２２）。

そして、上記算出した動き情報を保存するか否かを判断する（ステップＳ４４）。この、動き情報を保存するか否かは、液晶表示パネル４２Ｃに保存するか否かを問い合わせるメッセージを表示し、それに応じて使用者が操作ボタン４２Ｄの操作により入力した指示を判別することにより行う。あるいは、動き情報を保存する／しないをモード設定の一項目として予め設定しておくものとして、そのモード設定に従うものであっても構わない。ここで、動き情報を保存しないと判断した場合には、上記ステップＳ２４へ進み、動き情報を保存すると判断した場合には、上記算出した各フレームの動き情報を動き情報用バッファ６２に保存した後に（ステップＳ４６）、上記ステップＳ２４へ進む。

なお、保存する動き情報は、動きパラメータ以外に、動きパラメータを決定した際の基準画像との類似度値も保存しておく。類似度値はＳＳＤ（差の２乗和：Sum of Squared Difference）やＳＡＤ（差の絶対値和：Sum of Absolute Difference）などを使用する。

一方、上記ステップＳ４２にて上記動き情報用バッファ６２に既に動き情報が保存済みであると判別された場合には、更に、その保存されている動き情報をそのまま再利用するか否かを判別する（ステップＳ４８）。この判別は、使用者が判定して、操作ボタン４２Ｄの操作により入力した指示を判別することにより行う。

図１４（Ａ）及び（Ｂ）は、上記ステップＳ４８にて、動き情報をそのまま再利用するかを使用者が判定する際の例を示すものである。

ここで、図１４（Ａ）は、使用者が再利用すると判定する場合の例である。即ち、今回の選択領域４２Ｉに含まれる被写体と他フレームにおける当該被写体との間の動きが、先の高解像度画像表示の際に選択された基準画像における選択領域（先の選択領域４２Ｊ）に含まれる被写体と他フレームにおける当該被写体との間の動きと同じであると判定できる例である。これは、例えば、動きのない、または少ない被写体を連写撮影した際に、撮影者の手振れが発生したような場合である。

また、図１４（Ｂ）は、使用者が再利用しないと判定する場合の例である。即ち、今回の選択領域４２Ｉに含まれる被写体と他フレームにおける当該被写体との間の動きが、先の選択領域４２Ｊに含まれる被写体と他フレームにおける当該被写体との間の動きとは異なると判定できる例である。これは、例えば、違う動き方をした２つの被写体を画角に入れて連写撮影したような場合である。

上記ステップＳ４８において、再利用しないと判別した場合には、上記ステップＳ２０Ａに進んで、新たに動き推定処理を行って、ステップＳ２０Ｂで超解像処理を行う。また動き情報をそのまま再利用すると判別した場合には、詳細は後述するような動き情報を再利用した動き推定処理を行い（ステップＳ５０）、それによって得られた動き情報を使用して、ステップＳ２０Ｂで超解像度処理を行う。

また、本実施形態においては、再利用するかどうかを自動判定させることも可能となっている。上記ステップＳ４８において、再利用するかどうかを自動判定させると使用者により指示されたと判別した場合には、詳細は後述するような動き情報再利用自動判定処理を行って（ステップＳ５２）、再利用するか否かを判定する（ステップＳ５４）。ここで、全フレーム分の動き情報を再利用しないと判定した場合には、上記ステップＳ２０Ａに進んで新たに動き推定処理を行う。これに対して、少なくとも１フレーム分でも再利用すると判定した場合には、上記ステップＳ５０に進んで、動き情報を再利用した動き推定処理を行う。そして、ステップＳ２０Ｂにて、その新たな動き推定処理によって得られた動き情報、または、動き情報を再利用した動き推定処理によって得られた動き情報を使用して、超解像度処理を行うこととなる。

図１５は、上記ステップＳ５２にて実行される動き情報再利用自動判定処理のフローチャートを示す図である。

即ち、まず、基準画像を読み取り（ステップＳ５２０１）、動き情報用バッファ６２に保存してある動き情報である各フレームの動きパラメータ及び基準画像に対する類似度値の情報を取り出し（ステップＳ５２０２）、対象のフレームにおける参照画像を読み取る（ステップＳ５２０３）。そして、取り出した動きパラメータで参照画像を画像変形し（ステップＳ５２０４）、基準画像とその変形画像との類似度値を計算する（ステップＳ５２０５）。その後、この計算した類似度値が、上記ステップＳ５２０２で取り出した保存してある類似度値よりも第１閾値以上大きいか否かを判定する（ステップＳ５２０６）。

ここで、第１閾値よりも小さいと判定した場合には、つまり、計算した類似度値が保存してある類似度値に近い場合には、前回の被写体の高解像度化処理時に推定した動きと今回求めようとしている被写体の動きとが同じような動きということになるので、上記動き情報用バッファ６２に保存してある動きパラメータはそのまま再利用すると決定する（ステップＳ５２０７）。

これに対して、上記ステップＳ５２０６において、第１閾値以上大きいと判定した場合には、更に、上記ステップＳ５２０５で計算した類似度値が、上記ステップＳ５２０２で取り出した保存してある類似度値よりも第２閾値（但し、第２閾値＞第１閾値）以上大きいか否かを判定する（ステップＳ５２０８）。ここで、計算した類似度値が上記第１閾値以上で且つ上記第２閾値よりも小さいと判定した場合には、前回の被写体の高解像度化処理時に推定した動きと今回求めようとしている被写体の動きとが、ほぼ同じような動きという事になるので、保存動きパラメータはそのままではないが再利用はすると決定する（ステップＳ５２０９）。

そして、上記ステップＳ５２０８において、第２閾値以上大きいと判定した場合には、前回の被写体の高解像度化処理時に推定した動きと今回求めようとしている被写体の動きとが全く違うという事になるので、保存動きパラメータは再利用しないと決定する（ステップＳ５２１０）。

上記ステップＳ５２０７、ステップＳ５２０９、又はステップＳ５２１０の後、全ての参照画像に対して処理を行ったか否かを判別し（ステップＳ５２１１）、未だ処理していない参照画像のフレームが存在すれば、参照画像のフレーム番号を１つ上げて（ステップＳ５２１２）、上記ステップＳ５２０３に戻る。

このように、自動判定処理を高解像度化に使用する参照画像１フレーム毎に、全てについて行う。

図１６は、上記ステップＳ５０で実行される動き情報を再利用した動き推定処理のフローチャートを示す図である。

即ち、基準画像を読み取り（ステップＳ５００１）、その読み取った基準画像を複数変形する（ステップＳ５００２）。そして、処理しようとする参照画像のフレームに対する動き情報再利用ありかなしかを判定する（ステップＳ５００３）。

ここで、再利用なしと判定した場合、つまり、上記ステップＳ５２１０で当該フレームについては再利用しないと決定されていた場合には、当該フレームの参照画像を読み取り（ステップＳ５００４）、類似度複数計算（ステップＳ５００５）、類似度マップ作成（ステップＳ５００６）、類似度マップの補完極値推定（動き推定値の算出）を行う（ステップＳ５００７）。

これに対して、上記ステップＳ５００３において再利用ありと判定した場合には、更に、動きパラメータをそのまま再利用するかどうかの判定を行う（ステップＳ５００４）。そして、そのまま再利用しないと判定した場合、つまり、上記ステップＳ５２０９で当該フレームについては動き情報用バッファ６２に保存してある動きパラメータをそのままではないが再利用はすると決定されていた場合には、当該フレームの参照画像を読み取り（ステップＳ５００９）、その読み取った参照画像を上記動き情報用バッファ６２の保存動きパラメータで変形する（ステップＳ５０１０）。その後、上記ステップＳ５００５に進んで類似度値複数計算を行い、上記ステップＳ５００６にて類似度マップ作成、上記ステップＳ５００７にて類似度マップ補完極値推定を行うことになる。このようにして動き推定値を算出することで、大きな動き分の類似度値計算が省略されることになり、演算時間が高速化するとともに、動き推定の演算精度を向上させることができる。

また、上記ステップＳ５００８で、そのまま再利用すると判定した場合、つまり、上記ステップＳ５２０７で当該フレームについては動き情報用バッファ６２に保存してある動きパラメータをそのまま再利用すると決定されていた場合には、保存してある動きパラメータをそのまま適用するので、新たな動き推定値の算出は実施しない。

上記ステップＳ５００７の後、あるいは、上記ステップＳ５２０８でそのまま再利用すると判定した場合には、高解像度化に使用する全ての参照画像に対して処理を行ったか否かを判別し（ステップＳ５０１１）、未だ処理していない参照画像のフレームが存在すれば、参照画像のフレーム番号を１つ上げて（ステップＳ５０１２）、上記ステップＳ５００３に戻る。

このように、動き推定処理を高解像度化に使用する参照画像１フレーム毎に、全てについて行う。

なお、上記ステップＳ５００１の基準画像読み取り処理は図７のステップＳ２０Ａ１と、上記ステップＳ５００２の基準画像の複数変形処理は図７のステップＳ２０Ａ２と、上記ステップＳ５００４の参照画像読み取り処理は図７のステップＳ２０Ａ３と、上記ステップＳ５００５の類似度値複数計算処理は図７のステップＳ２０Ａ４と、上記ステップＳ５００６の類似度マップ作成処理は図７のステップＳ２０Ａ５と、上記ステップＳ５００７の類似度マップ補完極値推定処理は図７のステップＳ２０Ａ６と、それぞれ同様の処理である。

以上のように、本第２実施形態によれば、仕上り推定表示を行う際の演算で推定した動き情報を再利用することで、大領域における動き推定処理の演算時間を減らし、使用者の待ち時間を軽減できると共に動き補償の精度を向上させることが可能となる。

［第３実施形態］
上記第１及び第２実施形態では、画像処理装置の全ての機能を電子スチルカメラ１０に組み込んでいるが、それに限定されないことは勿論である。

例えば、超解像処理部５４Ｂを別のハードウェア又はソフトウェアで実現することができる。その場合、複数枚の画像間においてモーション推定部５４Ａでの動き推定処理で算出した動き推定値を、付属情報として各画像に付加して、メモリカードＩ／Ｆ部３６によりその付加情報を有する画像をメモリカード３８に記録しておく。そして、それらのメモリカード３８に記録された画像を別のハードウェアに構成された若しくは別のソフトウェアで構成された超解像処理部５４Ｂの入力画像とする。ここで、付属情報は、図１７に示すように、基準画像と参照画像が分かるようにし、参照画像には基準画像とのずれ量である動き推定値を付加する。

このように付加情報を各画像に持たせることにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。

またその際、参照画像である一枚、例えばＮ＋１５フレームを基準画像に変更することもでき、その時は、各画像の付加情報に含まれる動き推定値を基に計算すれば、容易に新しく設定した基準画像とそれ以外の参照画像との動き値を求めることが可能となる。

［第４実施形態］
また、使用者が表示したい画像がＮ＋α＋βフレーム（α＝所定時間内の整数値、０＜β＜１）のような場合もある。そのような場合、例えばα＝１、β＝０．５の時には、高解像処理部５４は、図１８に示すように、Ｎ＋１フレームとＮ＋２フレームの画像の基準画像からの動き推定値を基にして、Ｎ＋１．５フレームの動き推定値を推定し、Ｎ＋１．５フレームの低解像度画像（表示原画像）、あるいは、高解像度画像を生成する。

このＮ＋α＋βフレーム高解像度画像の生成時には、Ｎ＋α＋βフレームの低解像度画像を一旦生成し、その画像を基準画像として前後の低解像度画像を使用し、超解像処理によって高解像度化する。また、Ｎフレームを基準画像として生成したＮフレームの超解像画像を基にして、このＮ＋α＋βフレームの高解像度画像を生成することも可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記表示したい画像における、上記局所領域指定手段によって指定された局所領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする画像処理装置。

（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、電子スチルカメラ１０が上記画像処理装置に、高解像処理部５４が上記高解像度化処理手段に、操作表示部４２が上記局所領域指定手段に、小領域選択処理部５６が上記推定表示手段に、それぞれ対応する。

（作用効果）
この（１）に記載の画像処理装置によれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。

（２） 上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、別枠として画面内に表示することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、高解像度画像表示画面４２Ｆが上記別枠に対応する。

（作用効果）
この（２）に記載の画像処理装置によれば、元の低解像度の画像と高解像度化した画像とが両方表示されるので、容易に両者を比較することができる。

（３） 上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、上記局所領域指定手段によって指定された局所領域と重ならないように画面に表示することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、高解像度画像表示画面４２Ｆが上記高解像度画像に、関心領域識別表示４２Ｇが上記指定された局所領域に、それぞれ対応する。

（作用効果）
この（３）に記載の画像処理装置によれば、指定された局所領域の画像と高解像度化した画像とが重ならないように表示されるので、局所領域の低解像度・高解像度の両者の画像を容易に比較することができる。

（４） 上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を備えることを特徴とする（１）乃至（３）の何れかに記載の画像処理装置。

（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、モーション推定部５４Ａが上記動き補償手段に、超解像処理部５４Ｂが上記画像合成手段に、それぞれ対応する。

（作用効果）
この（４）に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の局所領域の画像を得ることができる。

（５） 上記動き補償手段は、上記局所領域指定手段によって指定された局所領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする（４）に記載の画像処理装置。

（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。その実施形態において、動き情報用バッファ６２が上記保存手段に対応する。

（作用効果）
この（５）に記載の画像処理装置によれば、動き情報を保存することで、後でそれを再利用することが可能になる。

（６） 上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記局所領域指定手段によって局所領域を指定して、その局所領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする（５）に記載の画像処理装置。

（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（６）に記載の画像処理装置によれば、先に保存した動き情報を再利用することで、今回の局所領域における動き推定処理の演算時間を減らし、使用者の待ち時間を軽減できると共に動き補償の精度を向上させることが可能となる。

（７） 上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第１、第２、及び第４実施形態が対応する。それらの実施形態において、メモリカードＩ／Ｆ部３６及びメモリカード３８が上記保存手段に対応する。

（作用効果）
この（７）に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を保存することができる。

（８） 上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第１、第２、及び第４実施形態が対応する。それらの実施形態において、プリンタ５８が上記印刷手段に、プリンタＩ／Ｆ部４０が上記出力手段に、それぞれ対応する。

（作用効果）
この（８）に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を印刷することができる。

（９） 上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
を備えることを特徴とする（１）乃至（３）の何れかに記載の画像処理装置。

（対応する実施形態）
この（９）に記載の画像処理装置に関する実施形態は、第３実施形態が対応する。その実施形態において、モーション推定部５４Ａが上記動き推定手段に、モーション推定部５４Ａ及びメモリカードＩ／Ｆ部３６が上記付加情報記録手段に、それぞれ対応する。

（作用効果）
この（９）に記載の画像処理装置によれば、付加情報を各画像に持たせることにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。

（１０） 上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を更に備えることを特徴とする（９）に記載の画像処理装置。

（対応する実施形態）
この（１０）に記載の画像処理装置に関する実施形態は、第３実施形態が対応する。その実施形態において、モーション推定部５４Ａが上記動き補償手段に、超解像処理部５４Ｂが上記画像合成手段に、それぞれ対応する。

（作用効果）
この（１０）に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の局所領域の画像を得ることができる。

（１１） 電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記局所領域指定手段によって指定された局所領域に含まれる小領域を選択する小領域選択手段と、
上記表示したい画像における、上記小領域選択手段が選択した小領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする画像処理装置。

（対応する実施形態）
この（１１）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、電子スチルカメラ１０が上記画像処理装置に、高解像処理部５４が上記高解像度化処理手段に、操作表示部４２が上記局所領域指定手段に、小領域選択処理部５６が上記小領域選択手段及び上記推定表示手段に、それぞれ対応する。

（作用効果）
この（１１）に記載の画像処理装置によれば、大領域の超解像処理による高解像度化を行う前に、使用者が指定した関心のある一部の局所領域に含まれる小領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。

（１２） 上記小領域選択手段は、上記電子的に記録された画像に対して、色情報、輝度情報、テクスチャ、構造要素の相同性を解析し、その解析結果に基づいて上記小領域を自動的に選択することを特徴とする（１１）に記載の画像処理装置。

（対応する実施形態）
この（１２）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（１２）に記載の画像処理装置によれば、局所領域の一部を指定するだけで小領域を判別して自動設定するので、所望の被写体を含む局所領域を指定するだけで、所望被写体に対応する小領域を自動設定でき、使用者の操作が簡単である。

（１３） 上記小領域選択手段によって決定する小領域は、上記局所領域指定手段によって指定された局所領域の一部を含むことを特徴とする（１２）に記載の画像処理装置。

（対応する実施形態）
この（１３）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（１３）に記載の画像処理装置によれば、所望の被写体を含む局所領域を大まかに指定するだけで、所望被写体に対応する小領域を自動設定できる。

（１４） 上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、別枠として画面内に表示することを特徴とする（１１）に記載の画像処理装置。

（対応する実施形態）
この（１４）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、高解像度画像表示画面４２Ｆが上記別枠に対応する。

（作用効果）
この（１４）に記載の画像処理装置によれば、元の低解像度の画像と高解像度化した画像とが両方表示されるので、容易に両者を比較することができる。

（１５） 上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、上記小領域選択手段が選択した小領域と重ならないように画面に表示することを特徴とする（１１）に記載の画像処理装置。

（対応する実施形態）
この（１５）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、高解像度画像表示画面４２Ｆが上記高解像度画像に、関心領域識別表示４２Ｇが上記選択した小領域に、それぞれ対応する。

（作用効果）
この（１５）に記載の画像処理装置によれば、選択した小領域の画像と高解像度化した画像とが重ならないように表示されるので、小領域の低解像度・高解像度の両者の画像を容易に比較することができる。

（１６） 上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を備えることを特徴とする（１１）乃至（１５）の何れかに記載の画像処理装置。

（対応する実施形態）
この（１６）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、モーション推定部５４Ａが上記動き補償手段に、超解像処理部５４Ｂが上記画像合成手段に、それぞれ対応する。

（作用効果）
この（１６）に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の小領域の画像を得ることができる。

（１７） 上記動き補償手段は、上記小領域選択手段が選択した小領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする（１６）に記載の画像処理装置。

（対応する実施形態）
この（１７）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。その実施形態において、動き情報用バッファ６２が上記保存手段に対応する。

（作用効果）
この（１７）に記載の画像処理装置によれば、動き情報を保存することで、後でそれを再利用することが可能になる。

（１８） 上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記小領域選択手段によって小領域を選択して、その小領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする（１７）に記載の画像処理装置。

（対応する実施形態）
この（１８）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（１８）に記載の画像処理装置によれば、先に保存した動き情報を再利用することで、今回の小領域における動き推定処理の演算時間を減らし、使用者の待ち時間を軽減できると共に動き補償の精度を向上させることが可能となる。

（１９） 上記小領域選択手段が選択した小領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする（１１）に記載の画像処理装置。

（対応する実施形態）
この（１９）に記載の画像処理装置に関する実施形態は、第１、第２、及び第４実施形態が対応する。それらの実施形態において、メモリカードＩ／Ｆ部３６及びメモリカード３８が上記保存手段に対応する。

（作用効果）
この（１９）に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を保存することができる。

（２０） 上記小領域選択手段が選択した小領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする（１１）に記載の画像処理装置。

（対応する実施形態）
この（２０）に記載の画像処理装置に関する実施形態は、第１、第２、及び第４実施形態が対応する。それらの実施形態において、プリンタ５８が上記印刷手段に、プリンタＩ／Ｆ部４０が上記出力手段に、それぞれ対応する。

（作用効果）
この（２０）に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を印刷することができる。

（２１） 上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
を備えることを特徴とする（１１）乃至（１５）の何れかに記載の画像処理装置。

（対応する実施形態）
この（２１）に記載の画像処理装置に関する実施形態は、第３実施形態が対応する。その実施形態において、モーション推定部５４Ａが上記動き推定手段に、モーション推定部５４Ａ及びメモリカードＩ／Ｆ部３６が上記付加情報記録手段に、それぞれ対応する。

（作用効果）
この（２１）に記載の画像処理装置によれば、付加情報を各画像に持たせることにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。

（２２） 上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を更に備えることを特徴とする（２１）に記載の画像処理装置。

（対応する実施形態）
この（２２）に記載の画像処理装置に関する実施形態は、第３実施形態が対応する。その実施形態において、モーション推定部５４Ａが上記動き補償手段に、超解像処理部５４Ｂが上記画像合成手段に、それぞれ対応する。

（作用効果）
この（２２）に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の小領域の画像を得ることができる。

（２３） 上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの２つの画像間の位置に相当する画像の場合、上記連続する複数の画像のうち上記表示したい画像の位置の近傍の単数または複数枚の記録画像から新たに高解像度化処理前の表示原画像を生成する表示原画像生成手段を更に具備することを特徴とする（１）又は（１１）に記載の画像処理装置。

（対応する実施形態）
この（２３）に記載の画像処理装置に関する実施形態は、第４実施形態が対応する。その実施形態において、高解像処理部５４が上記表示原画像生成手段に対応する。

（作用効果）
この（２３）に記載の画像処理装置によれば、例えばＮ＋１．５フレームのような実際に電子的に記録された画像ではない画像を新たに生成することができる。

（２４） 上記表示原画像生成手段は、上記近傍の単数または複数枚の記録画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって上記高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償する動き補償手段を備えることを特徴とする（２３）に記載の画像処理装置。

（対応する実施形態）
この（２４）に記載の画像処理装置に関する実施形態は、第４実施形態が対応する。その実施形態において、モーション推定部５４Ａが上記動き補償手段に対応する。

（作用効果）
この（２４）に記載の画像処理装置によれば、表示したい画像の位置における被写体の推定した動きを用いて、既に生成した別フレームの高解像度画像を基にして表示したい画像の位置における高解像度画像を生成できるようになる。

（２５） 上記高解像度化処理手段は、上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの２つの画像間の位置に相当する画像の場合、上記表示したい画像の位置の近傍の単数または複数枚の画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって当該高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償することを特徴とする（４）又は（１６）に記載の画像処理装置。

（対応する実施形態）
この（２５）に記載の画像処理装置に関する実施形態は、第４実施形態が対応する。

（作用効果）
この（２５）に記載の画像処理装置によれば、例えばＮ＋１．５フレームのような実際に電子的に記録された画像ではない画像を新たに生成する際に、その新たな画像の位置における被写体の推定した動きを用いて、他の画像の相対的な位置関係を補償することができる。

（２６） 上記動き補償手段は、上記被写体の動きを推定する際に用いた上記記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報とし残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録することを特徴とする（４）又は（１６）に記載の画像処理装置。

（対応する実施形態）
この（２６）に記載の画像処理装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（２６）に記載の画像処理装置によれば、付加情報を各々の画像に付加して再度記録することにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。

（２７） 上記推定表示手段は、上記高解像度化処理手段での高解像度化処理用の制御パラメータを調整するパラメータ調整手段を備えることを特徴とする（１）、（４）、（９）、（１１）、（１６）、（２１）、（２５）、又は（２６）に記載の画像処理装置。

（対応する実施形態）
この（２７）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、操作表示部４２が上記パラメータ調整手段に対応する。

（作用効果）
この（２７）に記載の画像処理装置によれば、使用者が望むようにパラメータを設定できる。

（２８） 上記制御パラメータは、上記高解像度化処理手段での高解像度化処理に使用する画像枚数、画像拡大率、画像復元時の評価関数における拘束項の重み係数、評価関数の最小化における繰り返し演算回数のうちの少なくとも１つを含むことを特徴とする（２７）に記載の画像処理装置。

（対応する実施形態）
この（２８）に記載の画像処理装置に関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（２８）に記載の画像処理装置によれば、パラメータとして、高解像度化処理に使用する画像枚数、画像拡大率、画像復元時の評価関数における拘束項の重み係数、評価関数の最小化における繰り返し演算回数の少なくとも一つを設定できる。

（２９） 電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記表示したい画像における、上記指定された局所領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させるための画像処理プログラム。

（対応する実施形態）
この（２９）に記載の画像処理プログラムに関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、ステップＳ２０が上記高い周波数帯域を復元する手順に、ステップＳ１４が上記領域を指定する手順に、ステップＳ２２が上記表示する手順に、それぞれ対応する。

（作用効果）
この（２９）に記載の画像処理プログラムによれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。

（３０） 電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記指定された局所領域に含まれる小領域を選択する手順と、
上記表示したい画像における、上記選択した小領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させるための画像処理プログラム。

（対応する実施形態）
この（３０）に記載の画像処理プログラムに関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、ステップＳ２０が上記高い周波数帯域を復元する手順に、ステップＳ１４が上記領域を指定する手順に、ステップＳ１８が上記小領域を選択する手順に、ステップＳ２２が上記表示する手順に、それぞれ対応する。

（作用効果）
この（３０）に記載の画像処理プログラムによれば、大領域の超解像処理による高解像度化を行う前に、使用者が指定した関心のある一部の局所領域に含まれる小領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。

（３１） （１）乃至（２８）の何れかに記載の画像処理装置を用いて、所望の画像についての仕上がり推定画像を確認する処理と、
確認した所望の画像に対して該所望の画像が有する周波数帯域よりも広い周波数帯域を有する画像を生成して画像メディアを製造する処理と、
からなることを特徴とする画像製造方法。

（対応する実施形態）
この（３１）に記載の画像製造方法に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、メモリカード３８が上記画像メディアに対応する。

（作用効果）
この（３１）に記載の画像製造方法によれば、高解像度画像を記録した画像メディアを製造できる。

（３２） 当該画像が、被写体の動きを推定する際に用いた電子的に記録された複数の画像のうち基準となる画像であるのか上記基準となる画像に対する参照画像であるのかを示す情報と、当該画像が上記参照画像である場合には上記基準となる画像に対して推定された動き推定値と、を付加情報として含む画像を記録したコンピュータ読み取り可能な記録媒体。

（対応する実施形態）
この（３２）に記載の記録媒体に関する実施形態は、第３実施形態が対応する。その実施形態において、メモリカード３８が上記記録媒体に対応する。

（作用効果）
この（３２）に記載の記録媒体によれば、付加情報を付加した画像を記録することにより、超解像処理を行う際に、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。

図１は、本発明の画像処理装置の第１実施形態としての電子スチルカメラのブロック構成図である。 図２は、第１実施形態における電子スチルカメラの概略の外観構成とプリンタとの接続構成を示す図である。 図３は、第１実施形態における電子スチルカメラとそれに接続れさたプリンタで行われる処理のフローチャートを示す図である。 図４は、同じカラーチャンネル隣接４画素における画素混合読み出しを説明するための図である。 図５（Ａ）は、液晶表示パネルに表示される関心領域指定カーソルを示す図であり、図５（Ｂ）は、関心領域指定カーソルの移動及び大きさの変更を説明するための図であり、図５（Ｃ）は、高解像度画像表示画面の表示例を示す図であり、図５（Ｄ）は、関心領域識別表示の表示例を示す図であり、図５（Ｅ）は、高解像度画像表示画面の別の表示例を示す図である。 図６（Ａ）は、液晶表示パネルへの高解像度画像表示画面の表示例を示す図であり、図６（Ｂ）は、制御パラメータ設定画面の表示例を示す図であり、図６（Ｃ）は、『使用枚数』を選択した場合の制御パラメータ設定画面の表示例を示す図であり、図６（Ｄ）は、設定されているパラメータの表示例を示す図であり、図６（Ｅ）は、変更したいパラメータを選択した状態を示す図であり、図６（Ｆ）は、制御パラメータ変更後の制御パラメータ設定画面の表示例を示す図である。 図７は、モーション推定部で実行される動き推定処理のフローチャートを示す図である。 図８は、動き推定における最適類似度推定のための類似度マップを示す図である。 図９（Ａ）は、複数の連続撮影した画像を示す図であり、図９（Ｂ）は、動き推定値を使用した参照画像変形により基準画像へ近似した画像を示す図である。 図１０は、超解像処理部で実行される画像高解像度化処理（超解像処理）のフローチャートを示す図である。 図１１は、超解像処理部の一例を示すブロック構成図である。 図１２は、本発明の画像処理装置の第２実施形態としての電子スチルカメラのブロック構成図である。 図１３は、第２実施形態における電子スチルカメで行われる処理の特徴部分のフローチャートを示す図である。 図１４（Ａ）は、使用者が保存動き情報をそのまま再利用すると判定する場合の例を示す図であり、図１４（Ｂ）は、使用者が保存動き情報を再利用しないと判定する場合の例を示す図である。 図１５は、図１３中の動き情報再利用自動判定処理のフローチャートを示す図である。 図１６は、図１３中の動き情報を再利用した動き推定処理のフローチャートを示す図である。 図１７は、本発明の第３実施形態に係る画像処理装置において各画像に付加される付加情報を説明するための図である。 図１８は、使用者がＮ＋１．５フレームの画像を表示したい場合の動作を説明するための図である。

符号の説明

１０…電子スチルカメラ、 １０Ａ…カメラ本体、 １２…レンズ系、 １４…分光ハーフミラー系、 １６…シャッタ、 １８…ローパスフィルタ、 ２０…ＣＣＤ撮像素子、 ２２…Ａ／Ｄ変換回路、 ２４…ＡＥ用フォトセンサ、 ２６…ＡＦモータ、 ２８…撮像制御部、 ３０…画像処理部、 ３２…画像用バッファ、 ３４…圧縮部、 ３６…メモリカードＩ／Ｆ部、 ３８…メモリカード、 ４０…プリンタＩ／Ｆ部、 ４２…操作表示部、 ４２Ａ…電源スイッチ、 ４２Ｂ…レリーズスイッチ、 ４２Ｃ…液晶表示パネル、 ４２Ｄ…操作ボタン、 ４２Ｅ…関心領域指定カーソル、 ４２Ｇ…関心領域識別表示、 ４２Ｆ…高解像度画像表示画面、 ４２Ｈ…制御パラメータ設定画面、 ４２Ｉ…今回の選択領域、 ４２Ｊ…先の選択領域、 ４４…撮像条件設定部、 ４６…連写判定部、 ４８…画素混合判定部、 ５０…切替部、 ５２…連写用バッファ、 ５４…高解像処理部、 ５４Ａ…モーション推定部、 ５４Ｂ…超解像処理部、 ５４Ｂ１…初期画像記憶部、 ５４Ｂ２…畳込み積分部、 ５４Ｂ３…ＰＳＦデータ保持部、 ５４Ｂ４…画像比較部、 ５４Ｂ５…乗算部、 ５４Ｂ６…貼り合せ加算部、 ５４Ｂ７…蓄積加算部、 ５４Ｂ８…更新画像生成部、 ５４Ｂ９…画像蓄積部、 ５４Ｂ１０…反復演算判定部、 ５４Ｂ１１…反復判定値保持部、 ５４Ｂ１２…補間拡大部、 ５６…小領域選択処理部、 ５８…プリンタ、 ６０…ケーブル、 ６２…動き情報用バッファ。

Claims (32)

1. 電子的に記録された画像を表示できる画像処理装置において、
   単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
   上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
   上記表示したい画像における、上記局所領域指定手段によって指定された局所領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
   を具備することを特徴とする画像処理装置。
2. 上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、別枠として画面内に表示することを特徴とする請求項１に記載の画像処理装置。
3. 上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、上記局所領域指定手段によって指定された局所領域と重ならないように画面に表示することを特徴とする請求項１に記載の画像処理装置。
4. 上記高解像度化処理手段は、
   上記局所領域指定手段によって指定された局所領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
   該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
   を備えることを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
5. 上記動き補償手段は、上記局所領域指定手段によって指定された局所領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする請求項４に記載の画像処理装置。
6. 上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記局所領域指定手段によって局所領域を指定して、その局所領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする請求項５に記載の画像処理装置。
7. 上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
8. 上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
9. 上記高解像度化処理手段は、
   上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
   上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
   を備えることを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
10. 上記高解像度化処理手段は、
    上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
    該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
    を更に備えることを特徴とする請求項９に記載の画像処理装置。
11. 電子的に記録された画像を表示できる画像処理装置において、
    単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
    上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
    上記局所領域指定手段によって指定された局所領域に含まれる小領域を選択する小領域選択手段と、
    上記表示したい画像における、上記小領域選択手段が選択した小領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
    を具備することを特徴とする画像処理装置。
12. 上記小領域選択手段は、上記電子的に記録された画像に対して、色情報、輝度情報、テクスチャ、構造要素の相同性を解析し、その解析結果に基づいて上記小領域を自動的に選択することを特徴とする請求項１１に記載の画像処理装置。
13. 上記小領域選択手段によって決定する小領域は、上記局所領域指定手段によって指定された局所領域の一部を含むことを特徴とする請求項１２に記載の画像処理装置。
14. 上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、別枠として画面内に表示することを特徴とする請求項１１に記載の画像処理装置。
15. 上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、上記小領域選択手段が選択した小領域と重ならないように画面に表示することを特徴とする請求項１１に記載の画像処理装置。
16. 上記高解像度化処理手段は、
    上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
    該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
    を備えることを特徴とする請求項１１乃至１５の何れかに記載の画像処理装置。
17. 上記動き補償手段は、上記小領域選択手段が選択した小領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする請求項１６に記載の画像処理装置。
18. 上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記小領域選択手段によって小領域を選択して、その小領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする請求項１７に記載の画像処理装置。
19. 上記小領域選択手段が選択した小領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする請求項１１に記載の画像処理装置。
20. 上記小領域選択手段が選択した小領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする請求項１１に記載の画像処理装置。
21. 上記高解像度化処理手段は、
    上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
    上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
    を備えることを特徴とする請求項１１乃至１５の何れかに記載の画像処理装置。
22. 上記高解像度化処理手段は、
    上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
    該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
    を更に備えることを特徴とする請求項２１に記載の画像処理装置。
23. 上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの２つの画像間の位置に相当する画像の場合、上記連続する複数の画像のうち上記表示したい画像の位置の近傍の単数または複数枚の記録画像から新たに高解像度化処理前の表示原画像を生成する表示原画像生成手段を更に具備することを特徴とする請求項１又は１１に記載の画像処理装置。
24. 上記表示原画像生成手段は、上記近傍の単数または複数枚の記録画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって上記高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償する動き補償手段を備えることを特徴とする請求項２３に記載の画像処理装置。
25. 上記高解像度化処理手段は、上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの２つの画像間の位置に相当する画像の場合、上記表示したい画像の位置の近傍の単数または複数枚の画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって当該高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償することを特徴とする請求項４又は１６に記載の画像処理装置。
26. 上記動き補償手段は、上記被写体の動きを推定する際に用いた上記記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報とし残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録することを特徴とする請求項４又は１６に記載の画像処理装置。
27. 上記推定表示手段は、上記高解像度化処理手段での高解像度化処理用の制御パラメータを調整するパラメータ調整手段を備えることを特徴とする請求項１、４、９、１１、１６、２１、２５、又は２６に記載の画像処理装置。
28. 上記制御パラメータは、上記高解像度化処理手段での高解像度化処理に使用する画像枚数、画像拡大率、画像復元時の評価関数における拘束項の重み係数、評価関数の最小化における繰り返し演算回数のうちの少なくとも１つを含むことを特徴とする請求項２７に記載の画像処理装置。
29. 電子的に記録された画像を表示する画像処理プログラムであって、
    コンピュータに、
    単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
    上記表示したい画像における高解像度化する領域を指定する手順と、
    上記表示したい画像における、上記指定された局所領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
    を実行させるための画像処理プログラム。
30. 電子的に記録された画像を表示する画像処理プログラムであって、
    コンピュータに、
    単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
    上記表示したい画像における高解像度化する領域を指定する手順と、
    上記指定された局所領域に含まれる小領域を選択する手順と、
    上記表示したい画像における、上記選択した小領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
    を実行させるための画像処理プログラム。
31. 請求項１乃至２８の何れかに記載の画像処理装置を用いて、所望の画像についての仕上がり推定画像を確認する処理と、
    確認した所望の画像に対して該所望の画像が有する周波数帯域よりも広い周波数帯域を有する画像を生成して画像メディアを製造する処理と、
    からなることを特徴とする画像製造方法。
32. 当該画像が、被写体の動きを推定する際に用いた電子的に記録された複数の画像のうち基準となる画像であるのか上記基準となる画像に対する参照画像であるのかを示す情報と、当該画像が上記参照画像である場合には上記基準となる画像に対して推定された動き推定値と、を付加情報として含む画像を記録したコンピュータ読み取り可能な記録媒体。

Images