JP2010161760A - 画像処理装置及び電子機器 - Google Patents

Abstract

【課題】超解像処理の要否を容易に決定することを可能とする画像処理装置や、この画像処理装置を備えた電子機器を提供する
【解決手段】出力画像処理部１２は、入力画像に対して超解像処理を施した場合に得られる効果である超解像効果を示す超解像効果画像を含んだ表示用出力画像を出力する。そのため、表示用出力画像を確認したユーザは、超解像効果の大きさを把握することが可能となる。したがって、容易に超解像処理の要否を判断することが可能となる。
【選択図】図２

Description

本発明は、入力画像に所定の処理を施して出力画像を出力する画像処理装置や、この画像処理装置を備えた電子機器に関する。

近年、撮像を行って得られた低解像度の画像を用いて高解像度の画像を得る、いわゆる超解像処理を実行可能な撮像装置が種々提案されている。このような超解像処理の１つとして、例えば非特許文献１には、複数の低解像度画像を用いて１つの高解像度画像（以下、超解像画像とする）を生成する超解像処理が提案されている。また、非特許文献２には、反復演算を用いた超解像処理が提案されている。この超解像処理は、画像に対する演算を繰り返すことによって最適化を行うものであり、効果的な超解像処理を行うことができる。

しかしながら、超解像処理は多大な演算量を要する処理であるため、処理に時間がかかることが問題となる。特に、上記のような反復演算を用いた超解像処理ではなおさらである。そのため、生成された超解像画像が好ましくないものである場合、無駄な時間や電力を消費することとなる。

この問題に対して、特許文献１では、複数の画像を合成する際に複数の画像の輝度値や焦点位置、色バランスなどのずれ量を検出し、ずれ量が大きい場合に警告を行う撮像装置が提案されている。このように、撮像条件が大きく変動した場合に警告を行うことによって、無駄な画像が生成されることを抑制することが可能となる。

また、特許文献２では、ユーザが指定した一部の領域に超解像処理を施して表示する画像処理装置が提案されている。このように表示することで、ユーザに超解像処理の効果を確認させる際に、演算量を抑制することが可能となる。

特開２００２−１１２０７５号公報 特開２００８−９２２９７号公報

Sung, C. P. Min, K. P. Moon, G. K. 共著 "Super-resolution image reconstruction: a technical overview", (Signal processing Magazine, IEEE on Volume 26,Issue 3, P.21-36, May 2003) Schultz, R.R. Stevenson, R.L. 共著 "Extraction of high-resolution frames from video sequences", (Image Processing, IEEE Transactions on Volume 5, Issue 6, P.996-1011, June 1996)

しかしながら、連続的に撮像を行って複数の画像を取得する場合、得られる複数の画像の撮像条件（輝度値や焦点位置、色バランスなど）は変動しにくい。特に、超解像処理においては、撮像条件の変動以外の要因によって良好な超解像画像が得られなくなることが生じる。そのため、特許文献１に記載の撮像装置では、不適な画像の生成を十分に抑制することが困難となる。また、特許文献２に記載のように、ユーザが指定した一部の領域に対して超解像処理を行うこととすると、選択した領域によって超解像処理の効果が確認されにくい場合が生じる。また、領域を指定する必要があるため操作が煩雑となる。

以上の問題を鑑みて、本発明は、超解像処理の要否を容易に決定することを可能とする画像処理装置や、この画像処理装置を備えた電子機器を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、入力される入力画像に基づいて表示用出力画像を生成し、出力する画像処理装置において、前記入力画像を高解像度化する処理である超解像処理を、前記入力画像に施した場合に得られる効果を示す超解像効果画像を生成するとともに、前記超解像効果画像が含まれた画像を前記表示用出力画像として生成する表示用画像加工部を、備えることを特徴とする。

また、上記構成の画像処理装置において、前記超解像効果画像が、前記入力画像に前記超解像処理を施した場合に高解像度化される程度の大きさを示した画像であり、前記表示用画像加工部が、前記入力画像に前記超解像効果画像を付加して前記表示用出力画像を生成することとしても構わない。

このように構成すると、超解像効果が、高解像度化される程度の大きさを示す画像として表現されることとなる。そのため、ユーザがその程度の大きさを確認することによって、超解像効果の客観的な大きさを把握することが可能となる。したがって、超解像処理の要否を容易に判断することが可能となる。

また、上記構成の画像処理装置において、前記表示用画像加工部が、前記入力画像の所定の位置毎の鮮明度に基づいて、前記入力画像の前記所定の位置に応じた前記超解像効果画像を求めることとしても構わない。

このように構成すると、ユーザが、所望の位置の超解像効果が大きいか否かを確認することが可能となる。そのため、超解像処理の要否を容易に判断することが可能となる。また、鮮明度を表す評価値として、画像の高周波成分を用いて算出されるＡＦ評価値を用いることとしても構わない。また、レンズＭＴＦなどを用いて算出されるレンズ特性評価値を用いることとしても構わない。

また、上記構成の画像処理装置において、前記超解像処理が、複数の前記入力画像を位置合わせして合成する処理であるとともに、前記表示用画像加工部が、前記超解像処理に用いられる複数の前記入力画像の位置合わせした後の位置関係に基づいて、前記超解像効果画像を生成することとしても構わない。

このように構成すると、複数の入力画像の位置関係に基づいて、入力画像全体に対する超解像効果を確認することが可能となる。したがって、超解像処理の要否を容易かつ迅速に判断することが可能となる。

また、上記構成の画像処理装置において、前記表示用画像加工部が、前記入力画像の一部の領域である対象領域に前記超解像処理が施されて生成される局所的超解像画像と、前記入力画像の前記対象領域を示す局所的入力画像と、を組み合わせた画像を前記超解像効果画像とするものであり、前記対象領域が、前記入力画像に前記超解像処理を施した場合に高解像度化される程度が他の領域よりも大きい領域であることとしても構わない。

このように構成すると、ユーザが、超解像効果を直接的かつ効果的に確認することが可能となる。そのため、容易に超解像処理の要否を決定することが可能となる。さらに、超解像処理が、高解像度化の程度が大きい一部の領域に限られることとなる。そのため、入力画像全体に超解像処理を施す場合と比較して、処理時間の短縮化や消費電力の低減化を図ることが可能となる。

また、上記構成の画像処理装置において、前記局所的超解像画像と、前記局所的入力画像と、少なくとも前記対象領域を含む前記入力画像の少なくとも一部の画像と、が前記表示用出力画像に含まれることとしても構わない。このように構成すると、入力画像の対象領域の周辺の画像をユーザが把握することが可能となる。

また、本発明の電子機器は、上記のいずれかに記載の画像処理装置と、前記画像処理装置から出力される前記表示用出力画像を表示する表示装置と、前記入力画像に前記超解像処理を施して超解像画像を生成する超解像処理部と、を備え、前記超解像画像を記録または再生することを特徴とする。

また、上記構成の電子機器において、前記入力画像に前記超解像処理を施した場合に得られる効果が所定の大きさ以下であるか否かを判定する判定部と、前記判定部が、前記入力画像に前記超解像処理を施した場合に得られる効果が所定の大きさ以下であると判定するときに、ユーザに対して報知を行う報知部と、をさらに備えることとしても構わない。

このように構成すると、超解像効果が小さいことをユーザに対して報知することができる。そのため、ユーザが不慣れであったとしても、自身で判断する必要を低減することが可能となり、ユーザが適切な操作を行うことを支援することが可能となる。

また、上記構成の電子機器において、撮像により前記入力画像を得る撮像部をさらに備え、前記判定部が、前記入力画像に前記超解像処理を施した場合に得られる効果が所定の大きさ以下であると判定するときに、前記報知部が、撮像により新たな入力画像を得ることを促す報知をすることとしても構わない。

このように構成すると、具体的な操作内容を報知することにより、さらにユーザが適切な操作を行うことを支援することが可能となる。特に、超解像処理の効果が大きくなる画像を確実に得ることが可能となる。

また、上記構成の電子機器において、前記判定部が、前記入力画像に前記超解像処理を施した場合に得られる効果が所定の大きさ以下であると判定するときに、前記報知部が、前記超解像処理を施さないことを促す報知をすることとしても構わない。

このように構成すると、具体的な操作内容を報知することにより、さらにユーザが適切な操作を行うことを支援することが可能となる。特に、効果が小さく無用と成り得る超解像処理が施されることを抑制することが可能となる。

本発明によると、入力画像に超解像処理を施した場合に得られる効果がユーザに報知されることとなる。そのため、ユーザは超解像処理の要否を容易に判断することが可能となる。さらに、超解像効果が、画像として視覚的に表現されることとなる。そのため、ユーザは容易に超解像効果を把握することが可能となる。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、本発明の実施形態における出力画像処理部の構成を示すブロック図である。 は、画像記録時に超解像効果表示処理を行う場合の出力画像処理部の動作の一例を示すフローチャートである。 は、画像再生時に超解像効果表示処理を行う場合の出力画像処理部の動作の一例を示すフローチャートである。 は、超解像効果表示処理の第１実施例における超解像効果の算出例を説明する入力画像の模式図である。 は、超解像効果表示処理の第１実施例における表示用出力画像の例を示す模式図である。 は、入力画像と超解像効果との関係を示す図である。 は、超解像効果表示処理の第２実施例における表示用出力画像の一例を示す模式図である。 は、超解像効果表示処理の第２実施例における表示用出力画像の別例を示す模式図である。 は、超解像効果表示処理の第３実施例における表示用出力画像の一例を示す模式図である。 は、超解像効果表示処理の第３実施例における表示用出力画像の別例を示す模式図である。 は、超解像画像の生成例の概要を示す図である。 は、超解像画像の生成例の概要を示す図である。 は、代表点マッチング法における画像の各領域の分割方法について示す画像の模式図である。 は、代表点マッチング法について示す基準画像及び非基準画像の模式図である。 は、１画素内動き量検出について示す基準画像及び非基準画像の模式図である。 は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。 は、画像記録時に超解像効果表示処理を行う場合の動作の一例を示すフローチャートである。 は、画像再生時に超解像効果表示処理を行う場合の動作の一例を示すフローチャートである。

本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明における電子機器の一例である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す入力画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、入力画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり入力画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。

また、撮像装置１は、伸長処理部１１で復号された画像信号や入力画像処理部６から出力される画像信号に基づいて表示用の画像信号を生成する出力画像処理部１２と、出力画像処理部１２から出力される画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する表示画像出力回路部１３と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１６と、撮像を開始するボタンや各種設定の決定を行うボタンなどを備えてユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各部との間で信号のやりとりを行うためのバス１９と、メモリ１６と各部との間で信号のやりとりを行うためのバス２０と、を備える。

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、入力画像処理部６に入力される。入力画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、入力画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき入力画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。また、入力される画像信号に基づいて、ホワイトバランスの調整も行われる。このフォーカスや露出、ホワイトバランスの調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、入力画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、入力画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長する。伸長された画像信号は出力画像処理部１２に入力され、表示用の画像信号が生成される。出力画像処理部１２から出力される画像信号は、表示画像出力回路部１３に入力される。また、伸長処理部１１で伸長された音声信号は、音声出力回路部１４に入力される。そして、表示画像出力回路部１３や音声出力回路部１４において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビュー時に、入力画像処理部６から出力される画像信号を圧縮せずに出力画像処理部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、出力画像処理部１２及び表示画像出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。

また、入力画像処理部６と、出力画像処理部１２と、を併せて１つの画像処理部（画像処理装置）として解釈しても構わないし、それぞれの一部を組み合わせたものを１つの画像処理部（画像処理装置）として解釈しても構わないものとする。

＜出力画像処理部＞
次に、図１に示した出力画像処理部の構成について、図面を参照して説明する。図２は、本発明の実施形態における出力画像処理部の構成を示すブロック図である。なお、以下では説明の具体化のために、出力画像処理部１２に入力される画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、出力画像処理部１２から出力される画像信号を「出力画像」と呼ぶこととする。

また、プレビュー時などにおいて、入力画像処理部６からバス２０やメモリ１６などを介して出力画像処理部１２に直接的に入力される入力画像を、特に「スルー入力画像」と呼ぶ。また、圧縮処理部８で圧縮されて外部メモリ１０に記録された後に、伸長処理部１１に読み出されて伸長されて出力画像処理部１２に入力される入力画像を、特に「読み出し入力画像」と呼ぶ。さらに、出力画像処理部１２から出力された後に圧縮処理部８に入力されて圧縮され、外部メモリ１０に記録される出力画像を、特に「記録用出力画像」と呼ぶ。また、出力画像処理部１２から出力された後に表示画像出力回路部１３に入力されてユーザに対して表示が行われる出力画像を、特に「表示用出力画像」と呼ぶ。

図２に示すように、出力画像処理部１２は、入力される読み出し入力画像の出力先を適宜選択するデマルチプレクサ１２０と、デマルチプレクサ１２０から出力された読み出し入力画像に超解像処理を施して超解像画像を生成する超解像処理部１２１と、スルー入力画像とデマルチプレクサ１２０から出力される読み出し入力画像と超解像処理部１２１から出力される画像との中から一つを選択して出力するセレクタ１２２と、セレクタ１２２から出力される画像を表示装置で表示するための画像に加工して表示用出力画像を生成する表示用画像加工部１２３と、を備える。また、超解像処理部１２１から出力される超解像画像は、記録用出力画像として出力画像処理部１２から出力される。

デマルチプレクサ１２０は、超解像処理が施されている読み出し入力画像が入力される場合、その読み出し入力画像をセレクタ１２２に入力する。一方、超解像処理が施されていない読み出し入力画像が入力される場合は、その読み出し入力画像を超解像処理部１２１に入力する。

次に、出力画像処理部１２の動作について図面を参照して説明する。図３は、画像記録時に超解像効果表示処理を行う場合の出力画像処理部の動作の一例を示すフローチャートであり、図４は、画像再生時に超解像効果表示処理を行う場合の出力画像処理部の動作の一例を示すフローチャートである。超解像効果表示処理とは、超解像処理を施そうとする画像に対して、超解像処理を施した場合に得られる効果（以下、超解像効果とする）を、ユーザに報知するために行う画像処理である。なお、超解像効果表示処理の詳細については後述する。

［画像記録時］
まず、画像記録時に超解像効果表示処理を行う場合の動作例について説明する。図３に示すように、記録動作の前にユーザが記録する画像の構図などを決定するためのプレビューが行われる（ＳＴＥＰ１）。プレビューが開始されると、出力画像処理部１２は、スルー入力画像の取得を行う。このときセレクタ１２２は、入力されるスルー入力画像を表示用画像加工部１２３に出力するように動作する。

また、スルー入力画像が入力される表示用画像加工部１２３は、表示装置の表示能力に合わせた解像度変換を行って表示用出力画像を生成し、出力する（ＳＴＥＰ３）。例えば、表示装置が撮像装置に備えられる小型のものであり、スルー入力画像の解像度に対して表示解像度が低いものであれば、スルー入力画像の低解像度化処理（縮小処理）を行う。低解像度化処理とは、例えば、画素の間引きや画素加算を行うことにより、画素数を減少させる処理である。

そして、操作部１７を介して、ユーザから画像を記録する指示が入力されたか否かが確認される（ＳＴＥＰ４）。画像を記録する指示が入力されていない場合（ＳＴＥＰ４、ＮＯ）、プレビューを継続するためにＳＴＥＰ２に戻りスルー入力画像の取得を行う。

一方、画像を記録する指示が入力されている場合（ＳＴＥＰ４、ＹＥＳ）、画像の記録が開始される。このとき出力画像処理部１２は、記録される画像（以下、記録画像とする）のスルー入力画像の取得を行う（ＳＴＥＰ５）。記録画像とは、入力画像処理部６から出力されて圧縮処理部８に入力されて圧縮され、外部メモリ１０に入力されて記録される画像である。また、このとき入力画像処理部６は、圧縮処理部８に記録画像を出力するとともに、出力画像処理部１２にも記録画像（即ち、スルー入力画像）を出力する。

ＳＴＥＰ５において出力画像処理部１２で取得されたスルー入力画像は、セレクタ１２２によって表示用画像加工部１２３に入力される。そして、表示用画像加工部１２３は、超解像効果表示処理をスルー入力画像に対して施す（ＳＴＥＰ６）。

表示用画像加工部１２３は、ＳＴＥＰ６の超解像効果表示処理以外にも解像度変換などの処理を行うことで表示用出力画像を生成し、出力する（ＳＴＥＰ７）。そして、表示用出力画像は、出力画像処理部１２から出力されるとともに表示画像出力回路部１３に入力され、その後上述のように表示装置で表示される。

また次に、例えば操作部１７を介してユーザから画像の記録を停止する指示が入力されたか否か、所定の画像数を記録し終わったか否かなどに基づいて、記録を停止するか否かを確認する（ＳＴＥＰ８）。画像の記録を停止しない場合（ＳＴＥＰ８、ＮＯ）、画像の記録を継続するためにＳＴＥＰ５に戻り、次の記録画像のスルー入力画像の取得を行う。

一方、画像の記録を停止する場合（ＳＴＥＰ８、ＹＥＳ）、次に、撮像装置１の動作を終了するか否かを確認する（ＳＴＥＰ９）。撮像装置１の動作を終了しない場合（ＳＴＥＰ９、ＮＯ）、ＳＴＥＰ１に戻りプレビューを開始する。一方、撮像装置１の動作を終了する場合（ＳＴＥＰ９、ＹＥＳ）は、終了する。

このように構成することにより、画像の記録時に、ユーザに対して超解像処理の効果の大きさを報知することが可能となる。そのためユーザは、記録した画像に対して超解像処理を施すべきか否かを容易に判断することが可能となる。

なお、本実施例では、外部メモリ１０に画像を記録する場合のみに超解像効果表示処理（ＳＴＥＰ６）を行うこととしたが、これに加えて（または代えて）、プレビュー時（ＳＴＥＰ１〜３）に超解像効果表示処理を行うこととしても構わない。この場合、ＳＴＥＰ２とＳＴＥＰ３との間に、ＳＴＥＰ６と同様の超解像効果表示処理が行われることとする。

また、プレビュー時（ＳＴＥＰ１〜３）に入力されるスルー入力画像を、イメージセンサ２から画像を読み出す際に低解像度化処理（例えば、加算読み出しや間引き読み出し）が施された画像としても構わない。またこのとき、表示用画像加工部１２３において、スルー入力画像の低解像度化処理を行わないこととしても構わない。

また、超解像効果を示す情報を、画像とともに外部メモリ１０に記録することとしても構わない。例えば、ユーザが書き込み可能な箇所（画像ファイル（またはその中に含まれる画像データ）のヘッダ情報など、以下単にヘッダ情報等とする）に記載しても構わない。

［画像再生時］
次に、画像再生時に超解像効果表示処理を行う場合の動作例について説明する。図４に示すように、再生動作の前にユーザに再生する画像を選択させる画面の表示が行われる（ＳＴＥＰ１０）。例えば、伸長処理部１１から、外部メモリ１０に記録されている画像の情報（例えばサムネイル画像）を取得するとともに、表示用画像加工部１２３が、この情報を整列させた画像を表示用出力画像として出力することによって行われる。なお、このとき選択され得る画像は、超解像処理が施されていない画像である。

ユーザが、再生する画像を選択しない場合（ＳＴＥＰ１１、ＮＯ）、ＳＴＥＰ１０の選択画面の表示を継続する。一方、ユーザによって再生する画像が選択された場合（ＳＴＥＰ１１、ＹＥＳ）、出力画像処理部１２が読み出し入力画像の取得を行う（ＳＴＥＰ１２）。このとき、デマルチプレクサ１２０は、超解像処理が施されていない読み出し入力画像が入力されるため、これを超解像処理部１２１に出力する。このとき超解像処理部１２１は、読み出し入力画像に超解像処理を施さずにセレクタ１２２に出力し、セレクタ１２２は、入力される読み出し入力画像を表示用画像加工部１２３に出力する。

表示用画像加工部１２３は、入力される読み出し入力画像に対して超解像効果表示処理を施す（ＳＴＥＰ１３）。また、表示用画像加工部１２３は、ＳＴＥＰ１３の超解像効果表示処理以外にも解像度変換などの処理を行うことで表示用出力画像を生成し、出力する（ＳＴＥＰ１４）。そして、表示用出力画像は、出力画像処理部１２から出力されるとともに表示画像出力回路部１３に入力され、その後上述のように表示装置で表示される。なお、超解像効果表示処理の詳細については後述する。

ＳＴＥＰ１３で表示用出力画像が出力されると、次に、例えば操作部１７を介してユーザから画像の再生を停止する指示が入力されたか否かなどに基づいて、再生を停止するか否かを確認する（ＳＴＥＰ１５）。画像の再生を停止しない場合（ＳＴＥＰ１５、ＮＯ）、画像の再生を継続するためにＳＴＥＰ１２に戻り、次の読み出し入力画像の取得を行う。

一方、画像の再生を停止する場合（ＳＴＥＰ１５、ＹＥＳ）、次に、撮像装置１の動作を終了するか否かを確認する（ＳＴＥＰ１６）。撮像装置１の動作を終了しない場合（ＳＴＥＰ１６、ＮＯ）、ＳＴＥＰ１０に戻り再生画像の選択画面の表示を行う。一方、撮像装置１の動作を終了する場合（ＳＴＥＰ１６、ＹＥＳ）は、終了する。

このように構成することにより、画像の再生時においても、ユーザに対して超解像処理の効果の大きさを報知することが可能となる。そのためユーザは、記録している画像に対して超解像処理を施すべきか否かを容易に判断することが可能となる。

なお、本例では、超解像効果表示処理を施した読み出し入力画像を連続的に表示する場合を示しているが、静止画として表示することとしても構わない。また、ユーザの指示に応じて、任意のタイミングで表示用出力画像が順次切り替えられることとしても構わない。このように構成すると、ユーザが特に重要と考えるシーンや画像について、超解像処理の要否を精査することが可能となる。

また、超解像効果を示す情報を、画像記録時に画像とともに外部メモリ１０に記録しておき、再生時にこの情報を利用して超解像効果表示処理を行うこととしても構わない。例えば、ヘッダ情報等を参照することで超解像効果を示す情報を得ることができた場合、その情報を参照して超解像効果表示処理を行っても構わない。

［超解像処理］
ユーザは、画像記録時または画像再生時において、超解像効果表示処理が施された表示用出力画像を確認して超解像処理の要否を検討し、超解像処理を実行する指示を操作部１７を介して入力する。例えば、画像記録時に超解像処理を実行する指示が入力されて、超解像処理を実行した画像を外部メモリ１０に記録する場合、入力画像処理部６が超解像処理を行うこととしても構わない。

一方、超解像処理を実行する指示の入力時を問わず、外部メモリ１０に記録されている画像に超解像処理を施す場合、例えば以下のように超解像処理を行う。まず、読み出し入力画像が出力画像処理部１２のデマルチプレクサ１２０に入力される。この読み出し入力画像は、超解像処理が施されていない画像である。そのため、デマルチプレクサ１２０は、読み出し入力画像を超解像処理部１２１に入力する。超解像処理部１２１は、読み出し入力画像に超解像処理を施して超解像画像を生成する。生成される超解像画像は、圧縮処理部８に入力されて圧縮され、外部メモリ１０に記録される。

なお、画像再生時に、ユーザが超解像処理が施された画像に対して超解像処理を実行する旨の指示を入力する場合、エラーメッセージなどを表示することとしても構わない。また、超解像処理部１２１が、複数の画像に基づいて超解像処理を行うものとしても構わなく、複数の画像を保持するメモリを備える構成としても構わない。また、超解像処理の詳細については後述する。

また、超解像画像（デマルチプレクサ１２０からセレクタ１２２に直接的に入力されるものや、超解像処理部１２１で超解像処理が施されることにより生成されるもの）を、表示装置において表示可能としても構わない。この場合、セレクタ１２２から出力される超解像画像は、表示用画像加工部１２３において表示に適した画像へと変換される。また、画像再生時に、ユーザから超解像処理を実行する指示が入力されない場合、超解像処理部１２１は、読み出し入力画像に超解像処理を施さずに、そのままセレクタ１２２に出力する。

＜＜超解像効果表示処理＞＞
次に、超解像効果表示処理について具体例を挙げて説明する。

＜第１実施例＞
超解像効果表示処理の第１実施例について図面を参照して説明する。図５は、超解像効果表示処理の第１実施例における超解像効果の算出例を説明する入力画像の模式図である。また、図６は、超解像効果表示処理の第１実施例における表示用出力画像の例を示す模式図である。

本実施例では、表示用画像加工部１２３が、入力画像の位置毎に算出された超解像効果に基づいて超解像効果画像を生成するとともに、この超解像効果画像を含む表示用出力画像を生成し、出力する。具体的に例えば、表示用画像加工部１２３が、入力画像の鮮明度（例えばコントラスト）の大きさに基づいて超解像効果画像を生成する。なお、画像の鮮明度が大きい領域ほど、超解像効果は大きいものとなる。即ち、高解像度化される程度が大きいものとなる。

また、入力画像処理部６が、入力画像の位置毎に鮮明度の大きさを算出し、出力画像処理部１２の表示用画像加工部１２３がこの算出結果を取得して、表示用出力画像を生成することも可能である。

例えば、画像記録時に本実施例を適用する場合、表示用画像加工部１２３が、入力画像処理部６からスルー入力画像と鮮明度の算出結果とをあわせて取得する構成としても構わない。また、画像再生時に本実施例を適用する場合、画像記録時に入力画像処理部６が鮮明度の算出を行い、この算出結果と記録画像とが外部メモリ１０に記録される構成としても構わない。この場合、表示用画像加工部１２３が、画像再生時に読み出し入力画像と鮮明度の算出結果とをあわせて取得する。

本実施例では、入力画像の鮮明度を算出するための評価値の一つとして、ＡＦ（Auto-Focus）評価値を用いることができる。ＡＦ評価値は、例えば、入力画像の輝度値の高周波成分を用いて算出される。特に、入力画像を所定のブロック毎に分割（例えば、８×８＝６４個のブロックに分割）して、ブロック毎に輝度値の高周波成分を積算することによって算出することができる。なお、画像記録時には、入力画像処理部６がＡＦ評価値を算出し、レンズ部３のフォーカスの制御を行う。そのため、画像記録時において算出されたＡＦ評価値を、表示用画像加工部１２３が取得して利用する構成とすると、演算量を低減することができるため好ましい。

図５（ａ）は、ＡＦ評価値の算出結果の具体例について示す入力画像の模式図である。図５（ａ）では、算出対象となる入力画像５０において、ＡＦ評価値が大きいブロックが含まれる領域である合焦領域５１と、ＡＦ評価値が小さいブロックが含まれる領域である非合焦領域５３と、合焦領域５１と非合焦領域５３との中間のＡＦ評価値となるブロックが含まれる領域である中間領域５２と、を示している。なお、図５（ａ）は、入力画像５０の中央が合焦領域５１となり、入力画像５０の端部が非合焦領域５３となる場合について示したものとなる。

また本実施例では、入力画像の鮮明度を算出するための評価値の一つとして、レンズ特性評価値を用いることができる。レンズ特性評価値は、レンズＭＴＦ（Modulation Transfer Function ）などを用いて算出される値であり、撮像装置１に使用されるレンズの特性によって決定される評価値である。そのため、算出対象となる画像に因らず、予め設定され得る不変の評価値となる。そして例えば、ＡＦ評価値と同様にブロック毎の値とすることが可能である。

図５（ｂ）は、レンズ特性評価値の具体例について示す入力画像の模式図である。特に、レンズＭＴＦを用いて設定されたものである。なお、図５（ｂ）は、入力画像５０の中央部分が、レンズ特性評価値が大きくなる大領域５４となり、入力画像５０の端部が、レンズ特性評価値が小さくなる小領域５６となり、これらの中間の領域が、レンズ特性評価値が大領域５４と小領域５６との中間の値となる中領域５５となる場合について示したものとなる。

上述したＡＦ評価値とレンズ特性評価値とを用いて超解像効果の大きさを算出する場合を、図５（ｃ）に示す。図５（ｃ）は、図５（ａ）に示すＡＦ評価値と、図５（ｂ）に示すレンズ特性評価値と、を組み合わせて表示した入力画像の模式図である。図５（ｃ）に示すように、ＡＦ評価値の合焦領域５１とレンズ特性評価値の大領域５４とが重複する領域が、特に超解像効果が大きい領域５７となる。なお、図５（ｃ）は、入力画像５０の中央部分が超解像効果の大きい領域５７となり、画像５０の端部に向かって超解像効果が小さくなる場合について示したものとなる。

図５（ｃ）に示すような超解像効果の大きさをユーザに報知するために生成する、表示用出力画像の一例を、図６（ａ）及び（ｂ）に示す。図６（ａ），（ｂ）ともに、図５（ｃ）に示した超解像効果の算出結果に基づいたものである。

図６（ａ）に示す表示用出力画像６０は、入力画像中の特に超解像効果の大きい領域（図５（ｃ）の領域５７）に、超解像効果画像である強調マーク６１を付加したものである。なお、図６（ａ）では強調マーク６１を楕円形で表現する場合について示しているが、矩形で表現しても構わない。また、特に超解像効果が大きい領域のみだけでなく、超解像効果が大きい領域全体を表示することとしても構わない。

また、図６（ｂ）に示す表示用出力画像６１は、超解像効果画像である超解像効果の大きさに応じた塗り分け画像を、入力画像に付加したものである。なお、図６（ｂ）では、グレースケールの塗り分け画像を付加した場合について示しているが、カラーの塗り分け画像を付加することとしても構わない。

このように、画像の鮮明度に基づいて画像内の位置に応じた超解像効果画像を、表示用出力画像に含ませることとすると、ユーザが、所望の領域の超解像効果が大きいか否かを確認することが可能となる。また、超解像効果が客観的な大きさとして表現されることとなるため、超解像効果の大きさが容易に把握されることとなる。したがって、ユーザが超解像処理の要否を容易に判断することが可能となる。

なお、図５及び図６に示す例では、ブロック毎に超解像効果の大きさを算出して超解像画像を生成することとしたが、画素毎としても構わない。

＜第２実施例＞
超解像効果表示処理の第２実施例について図面を参照して説明する。図７は、入力画像と超解像効果との関係を示す図である。また、図８は、超解像効果表示処理の第２実施例における表示用出力画像の一例を示す模式図である。また図９は、超解像効果表示処理の第２実施例における表示用出力画像の別例を示す模式図である。

本実施例では、表示用画像加工部１２３が、複数の入力画像の位置関係を求めることで超解像効果を算出し、この算出結果に基づいた超解像効果画像を生成する。そして、この超解像効果画像を含む表示用出力画像を生成し、出力する。具体的には、複数の入力画像を合成するために入力画像の位置合わせ（位置ずれの補正）を行った後の入力画像の位置関係に基づいて、超解像効果を算出する。例えば、位置ずれの大きさである位置ずれ量を用いて超解像効果を算出する。

また、入力画像処理部６が、複数の入力画像の位置ずれ量を算出し、出力画像処理部１２の表示用画像加工部１２３がこの算出結果を取得して、表示用出力画像を生成することも可能である。

例えば、画像記録時に本実施例を適用する場合、表示用画像加工部１２３が、入力画像処理部６からスルー入力画像と位置ずれ量の算出結果とをあわせて取得する構成としても構わない。また、画像再生時に本実施例を適用する場合、画像記録時に入力画像処理部６が位置ずれ量の算出を行い、この算出結果と記録画像とが外部メモリ１０に記録される構成としても構わない。この場合、表示用画像加工部１２３が、画像再生時に読み出し入力画像と位置ずれ量の算出結果とをあわせて取得する。

後述するような複数の入力画像を用いた超解像処理を行う場合、特に２つの入力画像を用いて行う場合、最適となる（高解像度化される程度が最大となる）位置ずれ量は、例えば、入力画像の０．５画素分の大きさである。

位置ずれ量が０．５画素分の大きさとなる場合について、図７（ａ）に示す。図７（ａ）では、比較する一方の入力画像（第１画像）７０の各画素が示す被写体７２の位置を黒塗りの三角形で示し、他方の入力画像（第２画像）７１の各画素が示す被写体７２の位置を白塗りの星形で示す。図７（ａ）に示すように、位置ずれ量が０．５画素分の大きさになる場合とは、第１画像７０の水平方向に隣接する画素の中間位置かつ垂直方向に隣接する画素の中間位置となる被写体７２の各位置を、第２画像７１の各画素が示す場合である。

後述する超解像処理は、複数の入力画像の画素を合成して高解像度化を行うものである。そのため、それぞれの画像の画素が示す被写体７２の位置が、図７（ａ）に示すような中間位置でずれる（即ち、位置ずれ量が最大となるようにずれる）場合を、超解像効果が大きい場合と仮定することができる。

位置ずれ量の算出には、後述する代表点マッチング法を用いることができる。また、ブロックマッチング法や勾配法などを用いることも可能である。ただし、画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有する算出方法を用いることとする。例えば、特開平１１-３４５３１５号公報に記載された方法や、“奥富，「ディジタル画像処理」，第二版，ＣＧ−ＡＲＴＳ協会，２００７年３月１日発行”に記載された方法（ｐ．２０５参照）を用いることとしても構わない。

位置ずれ量は、画素毎に算出された位置ずれ量を、画像全体で平均化することで算出される。なお、ブロック毎に算出された位置ずれ量を、画像全体で平均化することによって算出することとしても構わない。

また例えば、位置ずれ量が０．５画素分の大きさになる場合の超解像効果を１００％とし、０画素分の大きさとなる場合を０％とする。なお、超解像効果が、位置ずれ量に対して線形に変動するものと見なしても構わないし、非線形に変動するものと見なしても構わない。線形に変動するものと見なす場合、位置ずれ量が０画素分より大きく０．５画素分より小さくなるときの超解像効果を、０画素分の超解像効果の値と０．５画素分の超解像効果の値とを線形補間することによって算出することとしても構わない。一方、非線形に変動するものと見なす場合、例えば図７（ｂ）に示す補間曲線Ｌ１によって算出することとしても構わない。なお、図７（ｂ）に示す補間曲線Ｌ１から得られる０画素分より大きく０．５画素分より小さい場合の超解像効果は、線形補間した場合の補間直線Ｌ２から得られる超解像効果よりも大きい値となる。

次に、表示用出力画像の具体例について説明する。図８（ａ）に示す表示用出力画像８０は、超解像効果画像であるキャラクターの顔８１を、入力画像に付加したものである。このキャラクターの顔８１を、例えば図８（ｂ）に示すように、超解像効果が大きいほど明るい表情（笑顔）となるように構成しても構わない。

また、図９に示す表示用出力画像９０のように、超解像効果画像である超解像効果の値を示す画像９１を、入力画像に付加することとしても構わない。

このように、画像の位置ずれ量に基づいて画像全体に対する超解像効果を示す超解像効果画像を、表示用出力画像に含ませることとすると、ユーザが、超解像効果が大きいか否かを迅速に確認することが可能となる。また、超解像効果が客観的な大きさとして表現されることとなるため、超解像効果の大きさが容易に把握されることとなる。したがって、ユーザが超解像処理の要否を容易に判断することが可能となる。

なお、例として２つの入力画像の位置ずれ量を算出するとともに、位置ずれ量が０．５画素分の場合に最も超解像効果が大きくなることとしたが、本実施例はこの例に限られるものではない。例えば、３つ以上の入力画像の位置関係を求めることとしても構わない。この場合例えば、２つの入力画像の位置ずれ量を順次算出するとともにこれらの位置ずれ量を用いて（例えば総和を用いて）超解像効果を算出しても構わないし、複数の入力画像の対応する画素（例えば、位置ずれしているが近接している画素）によって形成される多角形の面積を用いて超解像効果を算出しても構わない。さらに、これらの位置ずれ量または面積が大きくなる場合に、超解像効果が大きくなることとしても構わない。また、超解像処理で用いられる入力画像数と同数の入力画像を用いて位置関係を求めることとしても構わない。

また、第１実施例と同様に、画像内の位置毎（例えばブロック毎）に超解像効果を算出し、超解像効果画像を生成することとしても構わない。また、動画の超解像効果を求める場合に、画像（またはブロック）毎の超解像効果を、複数枚分（または所定の時間分）もしくは１動画ファイル分、加重平均することで求めても構わない。また、第１実施例と組み合わせることとしても構わない。例えば、第１実施例により算出される超解像効果と、第２実施例により算出される超解像効果と、に重み付けをして合成し、超解像効果を算出することとしても構わない。

＜第３実施例＞
超解像効果表示処理の第３実施例について図面を参照して説明する。図１０は、超解像効果表示処理の第３実施例における表示用出力画像の一例を示す模式図である。また図１１は、超解像効果表示処理の第３実施例における表示用出力画像の別例を示す模式図である。

図１０に示すように、本実施例では、入力画像中の超解像効果が大きいと判定された領域（以下、対象領域とする）のみに対して局所的な超解像処理が施された、局所的超解像画像１０１を利用する。具体的には、表示用画像加工部１２３が、入力画像中の対象領域を示す画像である局所的入力画像１０２と、局所的超解像画像１０１と、を用いて表示用出力画像１００を生成する。なお、局所的超解像画像１０１及び局所的入力画像１０２を組み合わせた画像が、超解像効果画像となる。

例えば、表示用画像加工部１２３は、局所的超解像画像１０１及び局所的入力画像１０２を隣接させて入力画像に重畳させる。また、表示用画像加工部１２３は、局所的超解像画像１０１及び局所的入力画像１０２が重畳される領域と、表示用出力画像１００の対象領域と、が重ならないようにする。

以上のような表示用出力画像１００を生成して表示することとすると、局所的超解像画像１０１及び局所的入力画像１０２が隣接して表示されるため、これらの画像を比較されやすいものとすることが可能となる。また、局所的超解像画像１０１及び局所的入力画像１０２と、表示用出力画像１００の対象領域と、が重ならないように表示されるため、対象領域の位置や対象領域の周囲の画像などを、ユーザに把握されやすいものとすることが可能となる。

また例えば、図１１に示すような表示用出力画像１１０とすることも可能である。図１１の表示用出力画像１１０では、局所的超解像画像１１１及び局所的入力画像１１２が、それぞれ図１０に示すものよりも大きいものとなる。即ち、入力画像全体を表示用出力画像とする場合の対象領域の大きさよりも、局所的超解像画像１１１及び局所的入力画像１１２が大きくなるように構成する。

例えば、上述のように表示用画像加工部１２３が、撮像装置１に備えられる表示装置の表示解像度に適合させるために入力画像に対して縮小処理を施す場合、縮小処理を施していない局所的超解像画像１１１及び局所的入力画像１１２を用いて、表示用出力画像１１０を生成する。または、入力画像全体を表示用出力画像とする場合の縮小率（縮小後の画像／元画像）よりも大きい縮小率で縮小処理して得られる局所的超解像画像１１１及び局所的入力画像１１２を用いて、表示用出力画像１１０を生成することとする。

図１０と同様に、図１１の表示用出力画像１１０においても、局所的超解像画像１１１及び局所的入力画像１１２が隣接するようにする。また、局所的入力画像１１２の端部の所定の領域（図１１では左上の領域）に、入力画像全体を縮小した縮小入力画像１１３を重畳させる。縮小入力画像１１３は、例えば、入力画像全体を表示用出力画像とする場合の縮小率よりも小さい縮小率で縮小処理した画像となる。なお、縮小入力画像１１３を、局所的入力画像１１２内に収まる大きさとすると、局所的超解像画像１１１がより把握されやすくなるため好ましい。

さらに、縮小入力画像１１３中の対象領域に相当する領域に、強調マーク１１４を付加する。例えば図１１に示すように、対象領域を囲む矩形が縮小入力画像１１３に付加される。

以上のような表示用出力画像１１０を生成して表示することとすると、局所的超解像画像１１１及び局所的入力画像１１２が隣接して表示されるため、これらの画像を比較されやすいものとすることが可能となる。また、局所的超解像画像１１１及び局所的入力画像１１２が図１０と比較して大きく表示されるため、超解像処理の効果をより確認されやすいものとすることが可能となる。さらに、縮小入力画像１１３や矩形１１４が表示されるため、対象領域の位置や対象領域の周囲の画像などを、ユーザに把握されやすいものとすることが可能となる。

以上のように、局所的な領域であり超解像効果が大きい対象領域にのみ超解像処理を施して表示することとすると、ユーザが、超解像効果を直接的かつ効果的に確認することが可能となる。そのため、容易に超解像処理の要否を決定することが可能となる。また、超解像処理が施される領域が、局所的な領域に限られることとなる。そのため、入力画像全体に超解像処理を施す場合と比較して、処理時間の短縮化や消費電力の低減化を図ることが可能となる。

なお、超解像効果が大きい領域である対象領域の決定方法として、第１実施例や第２実施例に示した方法を用いても構わない。また、本実施例は、超解像処理部１２１で記録用出力画像を生成する前に行われることとすると好ましい。特に、第１実施例または第２実施例による表示用出力画像の表示を行うことによって、ユーザが超解像処理を行う決定をした後に、ユーザに最終確認をさせるために本実施例を実行することとしても構わない。また、局所的超解像画像を、例えば超解像処理部１２１が生成することとしても構わない。この場合、スルー入力画像が超解像処理部１２１に入力される構成としても構わない。さらに、超解像処理部１２１が、局所的超解像画像と入力画像とを併せて出力することとしても構わない。

＜変形例＞
上記第１〜第３実施例を組み合わせて実行しても構わない。例えば、画像記録時に第１実施例を実行し、画像記録後の画像再生時に第２実施例を実行し、超解像処理の直前に第３実施例を実行することとしても構わない。また例えば、第１〜第３実施例を実行することによって生成される超解像効果画像を同時に表示した表示用出力画像を生成しても構わない。

（超解像処理）
上述の超解像処理として、既存のどの方法を用いても構わないが、以下に超解像処理の一種であるＭＡＰ（Maximum A Posterior）法を用いる場合を一例として挙げるとともに、図面を参照して説明する。図１２及び図１３は、超解像画像の生成例の概要を示す図である。なお、本例は反復処理を実行可能な超解像処理方法であるが、反復処理を行わない超解像処理方法であっても、本発明に適用することは可能である。

また、以下においては説明を簡単にするため、入力画像のある１方向に整列した複数の画素について考えることとする。また、２つの入力画像を合成して超解像画像を生成する場合であり、合成する画素値が輝度値である場合を例に挙げて説明する。

図１２（ａ）は、撮像しようとする被写体の輝度分布を示したものである。また、図１２（ｂ）及び（ｃ）のそれぞれは、図１２（ａ）に示す被写体を撮像した入力画像から得られる入力画像の輝度分布である。また、図１２（ｄ）は、図１２（ｃ）に示す入力画像を所定の位置だけずらしたものである。なお、図１２（ｂ）に示す入力画像（以下、低解像度実画像Ｆａとする）と図１２（ｃ）に示す入力画像（以下、低解像度実画像Ｆｂとする）とは、撮像された時間が異なる。

図１２（ｂ）に示すように、図１２（ａ）に示す輝度分布を有する被写体を時間Ｔ１に撮像して得られた低解像度実画像Ｆａのサンプル点の位置を、Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳとする。また、図１２（ｃ）に示すように、時間Ｔ２（Ｔ１≠Ｔ２）に撮像して得られた低解像度実画像Ｆｂのサンプル点の位置を、Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳとする。このとき、低解像度実画像Ｆａのサンプル点Ｓ１と低解像度実画像Ｆｂのサンプル点Ｓ２とは、手ブレなどが原因となりその位置にずれが生じているものとする。即ち、画素位置が（Ｓ１−Ｓ２）だけずれたものとなる。

図１２（ｂ）に示す低解像度実画像Ｆａについて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳから得られた輝度値を、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３とする。同様に、図１２（ｃ）に示す低解像度実画像Ｆｂについて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳから得られた輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３とする。

ここで、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準（注目画像）として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを、低解像度実画像Ｆａに対する位置ずれ量（Ｓ１−Ｓ２）だけ位置ずれ補正した場合）、位置ずれ補正後の低解像度実画像Ｆｂ＋は、図１２（ｄ）に示すようになる。

次に、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像を生成する方法を図１３に示す。まず、図１３（ａ）に示すように、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像Ｆｘ１を推定する。なお、説明を簡単にするために、例えば、解像度をある１方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素が、低解像度実画像Ｆａ，Ｆｂ＋の画素Ｐ１，Ｐ２，Ｐ３と、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５と、を備えるものとする。

低解像度実画像Ｆａの画素Ｐ４の画素値は、低解像度実画像Ｆａの画素Ｐ１，Ｐ２の画素位置（画素の中心位置）と画素Ｐ４の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ１の画素位置と画素Ｐ４の画素位置との距離の方が近いことにより、画素値ｐｂ１が選択される。同様に、画素Ｐ５の画素値については、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置と画素Ｐ５の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ２の画素位置と画素Ｐ５の画素位置との距離の方が近いことにより、画素値ｐｂ２が選択される。

その後、図１３（ｂ）に示すように、得られた高解像度画像Ｆｘ１に対してダウンサンプリング量やぼけ量や位置ずれ量などをパラメータとして備えた変換式による演算を行うことで、低解像度実画像Ｆａ，Ｆｂのそれぞれに相当する推定画像である低解像度推定画像Ｆａ１，Ｆｂ１を生成する。なお、図１３（ｂ）では、ｎ回目の処理によって推定された高解像度画像Ｆｘｎより生成される低解像度推定画像Ｆａｎ，Ｆｂｎを示している。

例えば、ｎ＝１のとき、図１３（ａ）に示す高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。そして、図１３（ｃ）に示すように、低解像度推定画像Ｆａ１，Ｆｂ１のそれぞれと、低解像度実画像Ｆａ，Ｆｂのそれぞれとの間における差分を求め、この差分を合成することで高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。なお、図１３（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎを示している。

例えば、差分画像ΔＦａ１は、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）がＰ１〜Ｐ３の画素値となり、差分画像ΔＦｂ１は、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）がＰ１〜Ｐ３の画素値となる。そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｐ１〜Ｐ５のそれぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成して差分画像ΔＦｘ１を取得する際、例えば、ＭＬ（Maximum Likelihood）法やＭＡＰ法を用いる場合では、二乗誤差を評価関数として用いる。即ち、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値を評価関数とする。この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となる。そのため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。

その後、図１３（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図１２（ａ）に示した輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される。なお、図１３（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）を示している。

上述した一連の処理を繰り返すことによって、得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が図１２（ａ）に示す輝度分布の被写体に近い画素値に収束される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束したとき、前の処理（ｎ−１回目の処理）において得られた高解像度画像Ｆｘｎを、例えば超解像画像として超解像処理部１２１から出力する。

（代表点マッチング法）
超解像効果表示処理の第２実施例や上記の超解像処理において、位置ずれ量を求める際に、例えば以下に示すような、代表点マッチング法と１画素内位置ずれ量検出とを行うこととしても構わない。最初に、代表点マッチング法について図面を参照して説明し、その後に１画素内位置ずれ量検出について図面を参照して説明する。図１４及び図１５は、代表点マッチング法について示す図である。図１４は、画像の各領域の分割方法について示す画像の模式図であり、図１５は、基準画像及び非基準画像について示す模式図である。

代表点マッチング法は、例えば、基準となる画像（基準画像）と、基準画像と比較されて動きが検出される画像（非基準画像）のそれぞれに対して、図１４に示すような領域分割を行う。例えば、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、さらに、この小領域ｅのｐ×ｑ領域分（例えば、６×８領域分）を１つの検出領域Ｅとして分割する。また、図１５（ａ）に示すように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定される。一方、図１５（ｂ）に示すように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。

以上のように小領域ｅ及び検出領域Ｅが設定されると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。

各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられるサンプリング点Ｓ（即ち、累積相関値が最小となるサンプリング点Ｓ）が検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの位置ずれ量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた位置ずれ量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による位置ずれ量として検出する。

（１画素内位置ずれ量検出）
次に、１画素内位置ずれ量検出について図面を参照して説明する。図１６は、１画素内位置ずれ量検出について示す基準画像及び非基準画像の模式図であり、図１７は、１画素内位置ずれ量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。

上述のように、例えば代表点マッチング法を用いるなどして画素単位の位置ずれ量を検出した後、さらに、下記に示す方法を用いて１画素内の位置ずれ量を検出することができる。例えば、小領域ｅ毎に基準画像の代表点Ｒの画素の画素値と、代表点Ｒと相関性の高いサンプリング点Ｓｘの画素及びその周辺画素のそれぞれの画素値と、の関係によって１画素内の位置ずれ量を検出することができる。

図１６に示すように、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａと、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃと、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄとの関係によって、１画素内における位置ずれ量が検出される。このとき、代表点マッチング法により、基準画像から非基準画像への画素単位の位置ずれ量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。

また、図１７（ａ）に示すように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとする。同様に、図１７（ｂ）に示すように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での位置ずれ量として求められる。

このようにして、小領域ｅそれぞれにおける１画素内での位置ずれ量を求める。そして、求めた位置ずれ量を平均して得られる平均値を、基準画像（例えば、低解像度実画像Ｆｂ）と非基準画像（例えば、低解像度実画像Ｆａ）との間の１画素内での位置ずれ量として検出する。そして、代表点マッチング法によって得られた画素単位による位置ずれ量に、求めた１画素内での位置ずれ量を加えることによって、基準画像と非基準画像との間における位置ずれ量を算出することができる。

（超解像効果の判定）
上述の実施例は、ユーザに対して超解像効果画像を表示用出力画像に含めて表示することにより、超解像効果を報知する。しかしながら、例えばユーザが不慣れである場合、超解像効果画像の解釈の仕方がわからなかったり、誤った解釈をしたりすることがある。即ち、超解像効果画像を表示したとしても、それに基づいて必ずしもユーザが適切な操作を行うとは限られない。そこで以下では、不慣れなユーザであったとしても、容易に適切な操作を行うことができるように支援するための変形例について説明する。

［画像記録時の変形例］
まず、撮像装置１の画像記録時の動作について図面を参照して説明する。図１８は、画像記録時に超解像効果表示処理を行う場合の出力画像処理部の動作の一例を示すフローチャートであり、上述した図３に相当するものである。なお、図１８中、図３と同じ動作については同じステップ番号を付し、その詳細な説明については省略する。

上述したように、また図１８に示すように、画像の記録前にプレビューが行われ（ＳＴＥＰ１〜３、ＳＴＥＰ４のＮＯ）、その後に画像の記録が開始される（ＳＴＥＰ４、ＹＥＳ）。また、画像の記録に伴って、超解像効果画像を含む表示用出力画像が生成され、表示される（ＳＴＥＰ５〜７、ＳＴＥＰ８のＮＯ）。そして、ユーザが画像の記録の停止を指示したり（例えば動画記録時）、所定の画像数の記録が終わったり（例えば静止画記録時）したことなどを確認して、画像の記録を停止する（ＳＴＥＰ８、ＹＥＳ）。なお、超解像効果画像を含む表示用出力画像を、プレビュー時に作成及び表示しても構わない。

本変形例では、例えば画像の記録を停止した後に、超解像効果の大きさを判定する（ＳＴＥＰ１００）。このとき、例えばＳＴＥＰ６で超解像効果画像を作成する際に得た超解像効果の大きさを利用して、判定を行う。なお、画像の記録中やプレビュー中に判定を行うこととしても構わない。

具体的に例えば、図５（ａ）〜（ｃ）、図６（ｂ）の一部の領域（例えば中央付近の領域や対象領域）または全部の領域の超解像効果を平均化して得られた超解像効果の大きさや、図７（ｂ）、図８（ａ），（ｂ）及び図９に示す超解像効果の大きさを、記録した複数の画像の一部または全部について平均化した大きさに基づいて、判定を行う。特に、動画の超解像効果の大きさを求めて判定する場合、画像（またはブロック）毎の超解像効果を、複数枚分（または所定の時間分）もしくは１動画ファイル分、加重平均することで超解像効果の大きさを求め、この大きさに基づいて判定しても構わない。なお、表示用画像加工部１２３やＣＰＵ１５が、この判定を行っても構わない。

ＳＴＥＰ１００では、超解像効果が小さいか否かを判定する。具体的に例えば、図７（ｂ）に示す方法で算出される超解像効果を用いて、閾値を５０％とする場合、超解像効果が５０％以下となるときに「超解像効果が小さい」と判定する。

超解像効果が小さい場合（ＳＴＥＰ１０１、ＹＥＳ）、ユーザに対してその旨を報知する（ＳＴＥＰ１０２）。このとき、例えば記録停止（ＳＴＥＰ８、ＹＥＳ）後も継続して表示されている表示用出力画像に、「画像の記録し直し（再度の撮像）を勧める」旨や、「記録した画像に超解像処理を施しても超解像効果が小さいため、超解像処理を施すことは勧められない」旨を報知するメッセージを重畳させることで、報知を行っても構わない。またこのとき、ヘッダ情報等に超解像効果が小さい旨を記載しても構わない。

表示用出力画像を用いて報知する方法に限らず、ユーザに対して超解像効果が小さい旨を報知することができる方法であれば、どのような方法を用いて報知しても構わない。例えば、音（報知音、ボイスメッセージ）や振動、光などによって報知しても構わない。ただし、これらの方法によって報知する場合、必要に応じて部品（報知専用のスピーカ、振動用のモータ、ＬＥＤ（Light Emitting Diode）など）を撮像装置１に実装する。

一方、超解像効果が大きい（例えば、超解像効果が上記の閾値よりも大きい）場合は（ＳＴＥＰ１０１、ＮＯ）、ＳＴＥＰ１０２の報知をすることなく終了か否かの確認を行う（ＳＴＥＰ９）。なお、超解像効果が大きい場合であっても、その旨を報知しても構わないし、ヘッダ情報等に超解像効果が大きい旨を記載しても構わない。また、超解像効果が大きい画像を、超解像処理に利用可能な画像として１つのファイルに関連付けて記録しても構わない。

以上のように構成すると、超解像効果が小さいことをユーザに対して報知することができる。そのため、ユーザが不慣れであったとしても、自身で判断する必要を低減することが可能となり、ユーザが適切な操作を行うことを支援することが可能となる。

また、「画像の記録し直しを勧める」や「超解像処理を施すことは勧められない」などの具体的な操作内容を報知することで、さらにユーザが適切な操作を行うことを支援することが可能となる。特に、「画像の記録し直しを勧める」旨を報知することで、超解像処理の効果が大きくなる画像を確実に記録することが可能となる。また、「超解像処理を施すことは勧められない」旨を報知することで、効果が小さく無用と成り得る超解像処理が施されることを抑制することが可能となる。

なお、超解像効果が大きいと判定された画像については、そのまま（または事後的に、承諾を得ることなく）超解像処理を実行しても構わないし、超解像処理の実行前にユーザに承諾を取り、承諾を得た後に実行しても構わない。また、生成された超解像画像と、超解像処理に利用した画像と、を１つのファイルに関連付けて記録しても構わない。

また、ユーザがＳＴＥＰ１０２の報知に基づいて画像の記録し直しを行って（ＳＴＥＰ９、ＮＯ）、超解像効果が大きいと判定される場合（ＳＴＥＰ１０１、ＮＯ）、記録し直す前に記録した画像を削除しても構わない。一方、再度超解像効果が小さいと判定される場合（ＳＴＥＰ１０１、ＹＥＳ）、再度「画像の記録し直し」を報知しても構わない（ＳＴＥＰ１０２）。またこのとき、前回記録した画像の超解像効果と今回記録した画像の超解像効果とを比較し、超解像効果が大きい方の画像を記録して小さい方を削除しても構わない。または、両方記録しても構わない。また、超解像効果が大きい方の画像の超解像処理を上記の如く行っても構わないし、ヘッダ情報に超解像効果が（比較的）大きい旨を記載しても構わない。

［画像再生時の変形例］
次に、撮像装置１の画像再生時の動作について図面を参照して説明する。図１９は、画像再生時に超解像効果表示処理を行う場合の出力画像処理部の動作の一例を示すフローチャートであり、上述した図４に相当するものである。なお、図１９中、図４と同じ動作については同じステップ番号を付し、その詳細な説明については省略する。

上述したように、また図１９に示すように、再生動作の前にユーザに再生する画像を選択させる画面の表示が行われ（ＳＴＥＰ１０、ＳＴＥＰ１１のＮＯ）、ユーザによって再生する画像が選択される（ＳＴＥＰ１１、ＹＥＳ）。すると、出力画像処理部１２が読み出し入力画像の取得を行い、超解像効果画像を含む表示用出力画像が生成され、表示される（ＳＴＥＰ１２〜ＳＴＥＰ１４、ＳＴＥＰ１５のＮＯ）。そして、例えばユーザから画像の再生を停止する指示が入力されれば、再生を停止する（ＳＴＥＰ１５、ＹＥＳ）。

本変形例では、例えば画像の再生を停止した後に、超解像効果の大きさを判定する（ＳＴＥＰ１１０）。判定方法は、上述した画像記録時と同様である（図１８、ＳＴＥＰ１００参照）。なお、画像の再生中に判定を行うこととしても構わない。

超解像効果が小さい場合（ＳＴＥＰ１１１、ＹＥＳ）、ユーザに対してその旨を報知する（ＳＴＥＰ１１２）。このとき、例えば再生停止（ＳＴＥＰ１５、ＹＥＳ）後に継続して表示されている表示用出力画像に、「記録した画像に超解像処理を施しても超解像効果が小さいため、超解像処理を施すことは勧められない」旨を報知するメッセージを重畳させることで、報知を行っても構わない。また、上述した画像記録時と同様に、音や振動、光によって報知を行っても構わない。また同様に、ヘッダ情報等に超解像効果が小さい旨を記載しても構わない。

一方、超解像効果が大きい（例えば、超解像効果が上記の閾値よりも大きい）場合は（ＳＴＥＰ１１１、ＮＯ）、ＳＴＥＰ１１２の報知をすることなく終了か否かの確認を行う（ＳＴＥＰ１６）。なお、超解像効果が大きい場合であっても、その旨を報知しても構わないし、ヘッダ情報等に超解像効果が大きい旨を記載しても構わない。また、超解像効果が大きい画像を、超解像処理に利用可能な画像として１つのファイルに関連付けて記録しても構わない。

以上のように構成すると、超解像効果が小さいことをユーザに対して報知することができる。そのため、ユーザが不慣れであったとしても、自身で判断する必要を低減することが可能となり、ユーザが適切な操作を行うことを支援することが可能となる。

また、「超解像処理を施すことは勧められない」などの具体的な操作内容を報知することで、さらにユーザが適切な操作を行うことを支援することが可能となる。特に、「超解像処理を施すことは勧められない」旨を報知することで、効果が小さく無用と成り得る超解像処理が行われることを抑制することが可能となる。

なお、超解像効果が大きいと判定された画像については、そのまま（または事後的に、承諾を得ることなく）超解像処理を実行しても構わないし、超解像処理の実行前にユーザに承諾を取り、承諾を得た後に実行しても構わない。また、生成された超解像画像と、超解像処理に利用した画像と、を１つのファイルに関連付けて記録しても構わない。

また、ＳＴＥＰ１１で選択された画像が超解像画像である場合も、同様の再生処理を行うことができる。このとき、例えばＳＴＥＰ１１において、「再生しようとしている画像が超解像画像である」旨を報知しても構わない。さらにこのとき、ＳＴＥＰ１１１において超解像効果を判定した際、さらなる超解像処理を施した場合の超解像効果が大きいと判定されれば（ＳＴＥＰ１１１、ＮＯ）、「さらなる超解像処理を施すことを勧める」旨の報知を行っても構わない。

（その他の変形例）
本発明の電子機器の一例として撮像装置を挙げて説明したが、本発明の電子機器は撮像装置に限られるものではない。例えば、再生機能や記録機能のみを有し、外部（例えば、光ディスクなどの記録媒体）から入力画像を取得することで超解像画像を生成し、記録したり表示したりする構成としても構わない。即ち、本発明の電子機器は、再生装置であっても構わないし、編集装置であっても構わない。ただし、上述のように表示用出力画像をユーザに表示して、超解像効果を報知することとする。

また、本発明の実施形態における撮像装置１について、入力画像処理部６や再生入力画像処理部１２などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１や入力画像処理部６、図１及び図２の出力画像処理部１２は、ハードウェア、あるいは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や入力画像処理部６、再生入力画像処理部１２を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力画像に所定の処理を施して出力画像を出力する画像処理装置に関する。また、この画像処理装置を備えたデジタルビデオカメラなどに代表される撮像装置などの電子機器に関する。

１ 撮像装置
２ イメージサンサ
３ レンズ部
４ ＡＦＥ
５ 集音部
６ 入力画像処理部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 再生入力画像処理部
１２０ デマルチプレクサ
１２１ 超解像処理部
１２２ セレクタ
１２３ 表示用画像加工部
１３ 表示画像出力回路部
１４ 音声出力回路部
１５ ＣＰＵ
１６ メモリ
１７ 操作部
１８ ＴＧ部
１９ バス
２０ バス

Claims (9)

1. 入力される入力画像に基づいて表示用出力画像を生成し、出力する画像処理装置において、
   前記入力画像を高解像度化する処理である超解像処理を、前記入力画像に施した場合に得られる効果を示す画像である超解像効果画像を生成するとともに、前記超解像効果画像が含まれた画像を前記表示用出力画像として生成する表示用画像加工部を、
   備えることを特徴とする画像処理装置。
2. 前記超解像効果画像が、前記入力画像に前記超解像処理を施した場合に高解像度化される程度の大きさを示した画像であり、
   前記表示用画像加工部が、前記入力画像に前記超解像効果画像を付加して前記表示用出力画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示用画像加工部が、前記入力画像の所定の位置毎の鮮明度に基づいて、前記入力画像の前記所定の位置に応じた前記超解像効果画像を生成することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記超解像処理が、複数の前記入力画像を位置合わせして合成する処理であるとともに、
   前記表示用画像加工部が、前記超解像処理に用いられる複数の前記入力画像の位置合わせした後の位置関係に基づいて、前記超解像効果画像を生成することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 前記表示用画像加工部が、前記入力画像の一部の領域である対象領域に前記超解像処理が施されて生成される局所的超解像画像と、前記入力画像の前記対象領域を示す局所的入力画像と、を組み合わせた画像を前記超解像効果画像とするものであり、
   前記対象領域が、前記入力画像に前記超解像処理を施した場合に高解像度化される程度が他の領域よりも大きい領域であることを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 請求項１〜請求項５のいずれかに記載の画像処理装置と、
   前記画像処理装置から出力される前記表示用出力画像を表示する表示装置と、
   前記入力画像に前記超解像処理を施して超解像画像を生成する超解像処理部と、を備え、
   前記超解像画像を記録または再生することを特徴とする電子機器。
7. 前記入力画像に前記超解像処理を施した場合に得られる効果が所定の大きさ以下であるか否かを判定する判定部と、
   前記判定部が、前記入力画像に前記超解像処理を施した場合に得られる効果が所定の大きさ以下であると判定するときに、ユーザに対して報知を行う報知部と、
   をさらに備えることを特徴とする請求項６に記載の電子機器。
8. 撮像により前記入力画像を得る撮像部をさらに備え、
   前記判定部が、前記入力画像に前記超解像処理を施した場合に得られる効果が所定の大きさ以下であると判定するときに、前記報知部が、撮像により新たな入力画像を得ることを促す報知をすることを特徴とする請求項７に記載の電子機器。
9. 前記判定部が、前記入力画像に前記超解像処理を施した場合に得られる効果が所定の大きさ以下であると判定するときに、前記報知部が、前記超解像処理を施さないことを促す報知をすることを特徴とする請求項７または請求項８に記載の電子機器。