JP2010072092A - 画像表示装置及び撮像装置 - Google Patents

Abstract

【課題】超解像処理の結果をユーザになるだけ早い段階で提示する。
【解決手段】超解像演算部は、繰り返し演算を利用した再構成型の超解像処理によって、複数の低解像度画像から高解像度画像を生成する。超解像処理は、反復実行される超解像単位処理から成る。超解像演算部は、超解像単位処理を反復実行することによって、複数の低解像度画像から推定した高解像度画像を順次更新し、所定回数更新後の高解像度画像を最終的な高解像度画像として出力する。複数の低解像度画像の撮影直後に１枚の低解像度画像（３０１）を表示しつつ超解像処理を実行開始する。その後、超解像単位処理の反復実行中においては、その時点で得られている中間的な高解像度画像（３０３、３０４）を表示し、超解像処理の完了後に、最終的な高解像度画像（３０２）を表示する。
【選択図】図６

Description

本発明は、画像を表示可能な画像表示装置及び撮像装置に関する。

複数の低解像度画像から１枚の高解像度画像を生成する高解像度化処理（超解像処理）が提案されている。超解像処理の中で、繰り返し演算（反復演算）を利用した再構成型の超解像処理が代表的な処理として知られている。繰り返し演算を利用した再構成型の超解像処理方法は、超解像処理方法の中で現在最も有効な方法であるが、多くの反復演算を必要とする最適化計算方法であるため、処理に比較的多くの時間がかかる。

一方において、ユーザは、撮影画像の速やかなる表示画面での確認を希望する。従って例えば、高精細な静止画像を得るために、高解像度画像生成用の複数のフレーム画像（低解像度画像）を撮影した場合であっても、撮影画像に基づく画像を速やかに表示すべきである。

これを実現すべく、或る従来方法では、複数のフレーム画像の撮影後、その複数のフレーム画像の内の１枚を表示部に直ちに表示する一方で、その複数のフレーム画像を用いた超解像処理を実行し、超解像処理の完了後、得られた高解像度画像を記録媒体に保存している（例えば、下記特許文献１参照）。

特開２００２−１１２１０３号公報

しかしながら、この従来方法では、図２４に示す如く、撮影直後にユーザが確認する表示画像（低解像度画像）と事後的に保存される保存画像（高解像度画像）との間で、画質に大きな差が生じるため、後で保存画像を見たとき、ユーザは違和感を抱くことも多い（尚、図２４では、超解像処理の効果が誇張されている）。また、この従来方法では、比較的長い時間を要する超解像処理が完了するまで、ユーザは処理の結果を全く確認することができない。これは、超解像処理に基づく高解像度化の効果を少しでも早く確認したいというユーザの要望に反する。超解像処理の結果をユーザになるだけ早い段階で提示することができたならば、これらの問題は解消又は軽減される。尚、実行される画像処理が超解像処理である場合に注目して従来の課題を説明したが、超解像処理以外の画像処理を実行する場合にも同様の課題が存在する。

そこで本発明は、画像処理の結果をユーザになるだけ早い段階で提示することのできる画像表示装置及び撮像装置を提供することを目的とする。

本発明に係る画像表示装置は、所定の演算処理によって入力画像から出力画像を生成する演算処理部と、前記演算処理部の生成画像に基づく表示画像を表示部に表示させる表示制御部と、を備えた画像表示装置において、前記表示制御部は、前記演算処理の実行中において、前記演算処理の実行過程で生成される前記演算処理の中間結果を、段階的に前記表示部に表示させることを特徴とする。

これにより、画像処理（演算処理）の結果をユーザになるだけ早い段階で提示することが可能となる。

具体的には例えば、前記演算処理は、反復実行される単位処理を含み、前記演算処理部は、前記入力画像に基づく中間生成画像に対して前記単位処理を反復実行することにより前記中間生成画像を更新して最終的に前記出力画像を生成し、前記表示制御部は、前記単位処理が反復実行されているとき、前記単位処理の反復過程における前記中間生成画像から表示画像を生成して前記表示部に表示させる。

また例えば、前記表示制御部は、前記単位処理が反復実行されているとき、前記演算処理の実行開始時点からの経過時間または前記単位処理が反復実行された回数に応じて段階的に前記表示部の表示内容を更新し、更新時点における最新の中間生成画像を前記表示内容に反映させる。

或いは例えば、前記演算処理部は、前記中間生成画像の画質を改善するために前記単位処理を反復実行して前記中間生成画像を順次更新し、当該画像表示装置は、前記単位処理の反復実行による前記中間生成画像の画質改善量を推定する推定部を更に備え、前記表示制御部は、前記単位処理が反復実行されているとき、推定画質改善量に応じて段階的に前記表示部の表示内容を更新し、更新時点における最新の中間生成画像を前記表示内容に反映させる。

また例えば、前記演算処理は、第１〜第ｎの単位処理から成り、第ｉの単位処理により、前記入力画像の一部に基づく第ｉの中間生成画像が前記出力画像の一部として生成され、前記第１〜第ｎの単位処理によって生成された第１〜第ｎの中間生成画像を合成することで前記出力画像の全体が形成され、前記表示制御部は、前記演算処理の実行中において、その時点で得られている第１〜第ｍの中間生成画像を用いて表示画像を生成して前記表示部に表示させ、ｎ及びｍは自然数であってｎ＞ｍが成立し、ｉは１≦ｉ≦ｎを満たす整数である。

本発明に係る撮像装置は、撮影によって画像を取得する撮像部と、前記画像表示装置と、を備える。前記画像表示装置は、前記撮像部によって取得された前記画像を前記入力画像として受ける。

本発明によれば、画像処理の結果をユーザになるだけ早い段階で提示することのできる画像表示装置及び撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画像及び静止画像を撮影可能となっていると共に、動画像撮影中に静止画像を同時に撮影することも可能となっている。

［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、表示処理部２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。

撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。被写体からの入射光は、光学系及び絞りを介して、撮像素子３３に入射する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素（図１において不図示）を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、通常、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。

マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。

録画ボタン２６ａは、動画像の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画像の撮影及び記録を指示するための押しボタンスイッチである。

撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像及び静止画像を表示部２７上に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から撮影画像列が取得される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。また、画像を表すデータを画像データと呼ぶ。画像データも、映像信号の一種と考えることができる。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１つのフレーム周期分の画像データによって表現される１枚分の画像を、フレーム画像とも呼ぶ。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画像撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画像の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画像の撮影及び記録が行われる。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画像又は静止画像を表す圧縮された映像信号は、伸張処理部１９にて伸張され表示処理部２０に送られる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は表示処理部２０に送られる。

表示処理部２０は、与えられた映像信号に応じた画像を表示部２７に表示させる。表示部２７は、液晶ディスプレイなどの表示装置である。また、再生モードにおいて動画像を再生する際、外部メモリ１８に記録された動画像に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

映像信号処理部１３は、ＣＰＵ２３と協働しつつ、超解像処理を実施することが可能に形成されている。超解像処理によって、複数の低解像度画像から１枚の高解像度画像が生成される。この高解像度画像の映像信号を、圧縮処理部１６を介して外部メモリ１８に記録することができる。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の水平方向及び垂直方向の画素数は、低解像度画像のそれよりも多い。例えば、静止画の撮影指示がなされた時に、複数の低解像度画像としての複数のフレーム画像を取得し、それらに対して超解像処理を実施することにより高解像度画像を生成する。或いは例えば、動画撮影時に得られた複数の低解像度画像としての複数のフレーム画像に対して、超解像処理は実施される。

［超解像処理の基本概念］
超解像処理の基本概念について簡単に説明する。超解像処理の方式の一種として再構成型と呼ばれる方式が存在する。一方で、超解像処理を繰り返し演算（繰り返し型の計算アルゴリズム）にて実現する方式が存在し、この繰り返し演算を再構成型の超解像処理に適用することもできる。本実施形態では、繰り返し演算にて実現できる超解像処理の一種である、繰り返し演算を利用したＭＡＰ（Maximum A Posterior）法に基づく再構成型の超解像処理を主たる例にとる。

図２に、繰り返し演算を利用したＭＡＰ法に基づく再構成型の超解像処理の概念図を示す。この超解像処理では、実際の撮影によって得られた複数の低解像度画像から１枚の高解像度画像を推定し、この推定した高解像度画像を劣化させることによって元の複数の低解像度画像を推定する。実際の撮影によって得られた低解像度画像を特に「実低解像度画像」と呼び、推定された低解像度画像を特に「推定低解像度画像」と呼ぶ。その後、実低解像度画像と推定低解像度画像との誤差が最小化されるように、高解像度画像と低解像度画像を反復推定し、最終的に取得される高解像度画像を出力する。

図３に、図２に対応する超解像処理の流れをフローチャートにて表す。まず、ステップＳ１１にて、実低解像度画像から初期高解像度画像を生成する。続くステップＳ１２にて、現時点の高解像度画像を構築する元の実低解像度画像を推定する。推定された画像を、上述したように推定低解像度画像と呼ぶ。続くステップＳ１３では、実低解像度画像と推定低解像度画像との差分（差分画像）に基づいて現時点の高解像度画像に対する更新量を導出する。この更新量は、ステップＳ１２〜Ｓ１４の各処理の反復実行によって実低解像度画像と推定低解像度画像との誤差が最小化されるように導出される。そして、続くステップＳ１４にて、その更新量を用いて現時点の高解像度画像を更新し、新たな高解像度画像を生成する。この後、ステップＳ１２に戻り、新たに生成された高解像度画像を現時点の高解像度画像と捉えて、ステップＳ１２〜Ｓ１４の各処理が反復実行される。基本的に、ステップＳ１２〜Ｓ１４の各処理の反復回数が増大するほど、得られる高解像度画像の解像度が実質的に向上し（解像力が向上し）、理想に近い高解像度画像が得られる。

上述した動作の流れを基本とする超解像処理が、撮像装置１内にて実施される。ＭＡＰ法に基づく超解像処理以外に、ＭＬ（Maximum-Likelihood）法、ＰＯＣＳ（Projection Onto Convex Set）法、または、ＩＢＰ（Iterative Back Projection）法に基づく超解像処理を利用することも可能である。

繰り返し演算を利用した再構成型の超解像処理方法は、有効な方法であるが、多くの反復演算を必要とする最適化計算方法であるため、処理に比較的多くの時間がかかる。一方において、ユーザは、撮影画像の速やかなる表示部２７上での確認を希望する。従って例えば、高精細な静止画像を得るために、高解像度画像生成用の複数のフレーム画像（実低解像度画像）を撮影した場合であっても、撮影画像に基づく画像を速やかに表示すべきである。これを実現すべく、複数のフレーム画像の撮影後、その複数のフレーム画像の内の１枚を表示部２７に直ちに表示する一方で、その複数のフレーム画像を用いた超解像処理を実行し、超解像処理の完了後、得られた高解像度画像の表示部２７での表示及び外部メモリ１８への保存を実行する、という方法が考えられる。

図４に、この方法の概念図を示す。また、図５は、撮像装置１によって撮影されるべき被写体のアナログ画像である。図４において、画像３０１は、撮影直後に表示される、超解像処理前のフレーム画像であり、画像３０２は、超解像処理の完了後に表示される、複数のフレーム画像に基づく高解像度画像である。尚、図４では、超解像処理の効果が誇張されている（後述の図６についても同様）。

図４に対応する方法では、比較的長い時間を要する超解像処理が完了するまで、ユーザは処理の結果を全く確認することができない。これは、超解像処理に基づく高解像度化の効果を少しでも早く確認したいというユーザの要望に反する。また、画像３０２が相応の時間経過後にしか得られないことに鑑み、ユーザが画像３０１だけしか表示部２７上で確認しないことも多い。このような場合においても、超解像処理の完了後、高解像度画像が外部メモリ１８に保存されるが、画像３０１だけしか確認していなかったユーザが、
その保存画像を事後的に見ると、画像３０１と保存画像が画質において随分異なるため違和感を抱くこともある。

これらの事情を考慮し、撮像装置１では、超解像処理の実行中において、超解像処理の実行過程で生成される超解像処理の中間結果を段階的に表示部２７に表示する。例えば、図６に示す如く、高解像度画像生成用の複数のフレーム画像の撮影直後に画像３０１を表示しつつ、超解像処理を実行開始し、図３のステップＳ１２〜Ｓ１４の処理なら成る処理群を反復実行する過程において順次更新されていく中間的な高解像度画像を段階的に表示部２７に更新表示する。

図６に対応する方法によれば、画像３０１が表示されてから比較的短い時間が経過した後に、超解像処理の中間結果とも言うべき、画像３０３及び３０４が順次更新表示され、超解像処理の完了後に、最終的な高解像度画像である画像３０２が表示される。これにより、ユーザは、超解像処理の結果の一部とはいえ、超解像処理の結果を短い待ち時間で確認することができる。また、上記の違和感を抱く可能性も軽減される。

以下、上述のような表示方法、超解像処理の内容、及び／又は、それらに関連する技術的事項を、第１〜第３実施例にて説明する。矛盾が生じない限り、或る実施例にて述べた事項を他の実施例に適用することも可能である。

以下の説明では、特に記述しない限り、撮影によって得られたフレーム画像が実低解像度画像として取り扱われる。また、或る時刻の撮影によって実低解像度画像Ｆａが得られ、その後の撮影によって実低解像度画像Ｆｂが得られるものとする。画像Ｆａ及びＦｂの撮影間隔は、例えば、フレーム周期に相当する。

また、本明細書では、記述の簡略化上、記号を用いることによって、その記号に対応する名称を略記又は省略することがある。例えば、本明細書において、実低解像度画像Ｆａを単に「画像Ｆａ」又は「Ｆａ」と表現することもあるが、前者と後者は同じものを指す。

＜＜第１実施例＞＞
本発明の第１実施例を説明する。図７は、第１実施例に係る映像信号処理部１３の内部ブロック図である。図７の映像信号処理部１３は、超解像処理部４０と、反復制御部５０と、第１及び第２信号制御部５１及び５３と、信号処理部５２と、を備えている。超解像処理部４０は、フレームメモリ４１Ａ及び４１Ｂを有するメモリ部４１と、動き量算出部４２と、動き量記憶部４３と、超解像演算部４４と、を備えている。

フレームメモリ４１Ａは、ＡＦＥ１２からのデジタル信号によって表される、１フレーム分の実低解像度画像の画像データを一時的に記憶する。フレームメモリ４１Ｂは、フレームメモリ４１Ａに記憶された１フレーム分の実低解像度画像の画像データを一時的に記憶する。フレームメモリ４１Ａの記憶内容は、１フレームが経過する毎に、フレームメモリ４２Ｂに転送される。これにより、第２フレームの終了時点においては、フレームメモリ４１Ｂ及び４１Ａに、夫々、実低解像度画像Ｆａ及びＦｂの画像データが記録される。

動き量算出部４２には、ＡＦＥ１２より現フレームの実低解像度画像の画像データと、フレームメモリ４１Ａより前回フレームの実低解像度画像の画像データとが与えられる。動き量算出部４２は、与えられた両画像データを比較することにより、与えられた２枚の実低解像度画像間の位置ずれ量を表す動き量を算出する。この動き量は、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。算出された動き量は、動き量記憶部４３に記憶される。

動き量算出部４２は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、２枚の実低解像度画像間の動き量を算出する。ここで算出される動き量は、実低解像度画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、実低解像度画像内の、水平又は垂直方向に隣接する２つの画素の間隔ｐｐ_Lよりも短い距離を最小単位として動き量が算出される。サブピクセルの分解能を有する位置ずれ量の算出方法として、公知の算出方法を用いることができる。例えば、特開平１１-３４５３１５号公報に記載された方法や、“奥富，「ディジタル画像処理」，第二版，ＣＧ−ＡＲＴＳ協会，２００７年３月１日発行”に記載された方法（ｐ．２０５参照）を用いればよい。

超解像演算部４４は、フレームメモリ４１Ａ及び４１Ｂから与えられる２枚の実低解像度画像Ｆａ及びＦｂと、動き量記憶部４３に記憶された画像Ｆａ及びＦｂ間の動き量と、に基づき、超解像処理によって高解像度画像を生成する。超解像演算部４４は、図３のステップＳ１１〜Ｓ１４の処理に従い、まず、画像Ｆａ及びＦｂから更新前の高解像度画像としての初期高解像度画像を生成した後、高解像度画像を順次更新していく。初期高解像度画像を記号Ｆｘ１にて表し、初期高解像度画像Ｆｘ１に対してステップＳ１４の処理を１回分実行することによって得た高解像度画像を記号Ｆｘ２にて表す。即ち、初期高解像度画像Ｆｘ１を１回だけ更新することによって高解像度画像Ｆｘ２が得られる。この後、高解像度画像Ｆｘ２を順次更新することによって、高解像度画像Ｆｘ３、Ｆｘ４、・・・、が順次得られる。

第１信号処理部５１は、超解像演算部４４から出力される高解像度画像の画像データを、反復制御部５０の制御の下、超解像演算部４４及び／又は信号処理部５２に出力する。信号処理部５２は、第１信号処理部５１を介して与えられた高解像度画像の画像データから、その高解像度画像の映像信号（輝度信号及び色差信号）を生成する。第２信号処理部５２は、信号処理部５２にて生成された高解像度画像の映像信号を、反復制御部５０の制御の下、図１の表示処理部２０及び／又は圧縮処理部１６に出力する。反復制御部５０は、第１及び第２信号処理部５１及び５３を制御するが、その制御の詳細説明の前に、超解像演算部４４の構成例を説明する。

［超解像演算部４４の構成］
図８は、超解像演算部４４の内部ブロック図である。図８の超解像演算部４４は、符号６１〜６５によって参照される部位を備える。

超解像演算部４４では、２枚の画像Ｆａ及びＦｂの内、一方が基準フレームとして且つ他方が参照フレームとして設定される。今、画像Ｆａが基準フレームとして設定された場合を想定する。また、低解像度画像の画素数がｕであって、且つ、高解像度画像の画素数がｖであるとする。ｖはｕより大きな任意の値とされる。例えば、高解像度画像の解像度が垂直及び水平方向の夫々において低解像度画像のそれの２倍とされるならば、ｖはｕの４倍である。勿論、高解像度画像の解像度は、低解像度画像の解像度の２倍以外であってもよい。ｕ画素から成る実低解像度画像Ｆａの画素値を書き並べた行列をＹａにて表し、ｕ画素から成る実低解像度画像Ｆｂの画素値を書き並べた行列をＹｂにて表す。

初期高解像度推定部６１は、図３のステップＳ１１に対応する処理を実行する。参照フレームは参照フレーム及び基準フレーム間の動き量に相当する分だけ基準フレームを位置ずれさせた画像である、とみなすことができる。そこで、初期高解像度推定部６１は、動き量記憶部４３に記憶された、基準フレームと参照フレームとの間の動き量に基づいて基準フレームに対する参照フレームの位置ずれを検出し、それらの位置ずれを打ち消すための位置ずれ補正を行う。そして、位置ずれ補正後の基準フレーム及び参照フレームを組み合わせることによって、初期高解像度画像を生成する。初期高解像度画像の生成方法として、特開２００６−４１６０３号公報にも記載されているような、補間処理を用いた方法を利用可能することができる。

ｖ画素から成る初期高解像度画像Ｆｘ１の画素値を書き並べた行列をＸにて表す。初期高解像度画像Ｆｘ１以外の高解像度画像（例えば、Ｆｘ２）の画素値を書き並べた行列もＸにて表すこととする。但し、高解像度画像Ｆｘｉの行列Ｘの内容と高解像度画像Ｆｘｊの行列Ｘの内容は異なる（ここで、ｉ≠ｊ）。

選択部６２は、初期高解像度推定部６１にて生成された高解像度画像（初期高解像度画像）とフレームメモリ６５に一時的に記憶された高解像度画像の何れか１つを選択して出力する。選択部６２では、１回目の選択動作において、初期高解像度推定部６１で推定された初期高解像度画像を選択し、２回目以降の各選択動作において、フレームメモリ６５に一時記憶された高解像度画像を選択する。

高解像度更新量算出部（以下、更新量算出部と略記する）６３は、選択部６２にて選択された高解像度画像と、実低解像度画像Ｆａ及びＦｂと、動き量記憶部４３に記憶された画像Ｆａ及びＦｂ間の動き量に基づいて、選択部６２から与えられた高解像度画像に対する実低解像度画像Ｆａ及びＦｂの位置ずれを算出する。その後、選択部６２からの高解像度画像を劣化させて元の低解像度画像（即ち、実低解像度画像Ｆａ及びＦｂ）を推定するために、算出した各位置ずれ、低解像度化によって生じる画像ぼけ、及び、ｖ画素の高解像度画像からｕ画素の低解像度画像へのダウンサンプリング量をパラメータとするカメラパラメータ行列Ｗａ及びＷｂを求める。

そして、更新量算出部６３は、図３のステップＳ１２の如く、選択部６２にて選択された高解像度画像の行列Ｘに対してカメラパラメータ行列Ｗａ及びＷｂの夫々を個別に乗じることによって、実低解像度画像Ｆａ及びＦｂの推定画像に相当する２枚の推定低解像度画像を生成する。この２枚の推定低解像度画像は、行列Ｗａ・Ｘ及びＷｂ・Ｘによって表現される。

推定低解像度画像と実低解像度画像との誤差は｜Ｗａ・Ｘ−Ｙａ｜及び｜Ｗｂ・Ｘ−Ｙｂ｜によって表される。従って、その誤差を見積もるための評価関数として下記式（１）の評価関数Ｉを定義し、この評価関数Ｉを最小化するように高解像度画像に対する更新量を求める。式（１）の右辺の第３項は、選択部６２からの高解像度画像に基づく拘束項である。この拘束項γ｜Ｃ・Ｘ｜²における行列Ｃは、事前確率モデルに基づく行列である。行列Ｃは、「高解像度画像には高域成分が少ない」という事前知識に基づき設定され、例えばラプラシアンフィルタなどのハイパスフィルタによって形成される。また、係数γは、評価関数Ｉに対する拘束項の重みを表すパラメータである。
Ｉ＝｜Ｗａ・Ｘ−Ｙａ｜²＋｜Ｗｂ・Ｘ−Ｙｂ｜²＋γ｜Ｃ・Ｘ｜² ・・・（１）

評価関数Ｉを最小化する手法として任意の手法を採用可能であるが、今、勾配法を用いる場合を想定する。この場合、更新量算出部６３では、評価関数Ｉに対する勾配∂Ｉ／∂Ｘが求められる。勾配∂Ｉ／∂Ｘは、下記式（２）によって表される。式（２）において、添え字Ｔが付与された行列は、元の行列の転置行列を表す。従って例えば、Ｗａ^Tは行列Ｗａの転置行列を表す。
∂Ｉ／∂Ｘ＝２×｛Ｗａ^T・（Ｗａ・Ｘ−Ｙａ）＋Ｗｂ^T・（Ｗｂ・Ｘ−Ｙｂ）
＋γＣ^T・Ｃ・Ｘ｝ ・・・（２）

高解像度画像Ｆｘｉの行列Ｘに基づく勾配∂Ｉ／∂Ｘは、高解像度画像Ｆｘｉに対する更新量として算出される（ここで、ｉは自然数）。この算出処理は図３のステップＳ１３の処理に相当する。

減算部６４は、図３のステップＳ１４のように、選択部６２にて選択された高解像度画像Ｆｘｉの行列Ｘから、その高解像度画像Ｆｘｉに対する更新量∂Ｉ／∂Ｘを減算することにより、下記式（３）の行列Ｘ'を算出する（ここで、ｉは自然数）。行列Ｘ'は、高解像度画像Ｆｘ（ｉ＋１）の画素値を書き並べた行列に相当する。減算部６４における減算処理によって、高解像度画像Ｆｘｉが更新されて更新後の高解像度画像Ｆｘ（ｉ＋１）が生成される。
Ｘ'＝Ｘ−∂Ｉ／∂Ｘ ・・・（３）

減算部６４による更新によって生成された高解像度画像の画像データは、図７の第１信号制御部５１に出力される。超解像処理が完了していない期間（図９に示される、後述の単純反復期間及び段階表示期間）においては、減算部６４から出力された高解像度画像の画像データは、第１信号制御部５１を介してフレームメモリ６５に与えられる。フレームメモリ６５は、与えられた高解像度画像の画像データを一時的に記憶し、これを選択部６２に与える。これにより、減算部６４から出力された高解像度画像が、再度、更新量算出部６３及び減算部６４によって更新される。以下、高解像度画像Ｆｘｉを１回分だけ更新して高解像度画像Ｆｘ（ｉ＋１）を得る処理を、超解像単位処理と呼ぶ（ここで、ｉは自然数）。

超解像単位処理の繰り返しの回数に上限回数を設定しておくことができる。超解像単位処理の繰り返し回数に上限回数が設定されている場合、その繰り返し回数が上限回数に達した時点で超解像処理は完了する。また、超解像演算処理の繰り返し回数に関わらず、高解像度画像に対する更新量が十分に小さくなったと判断される場合には、その時点で超解像処理を完了してもよい。

超解像処理の完了後に得られる最終的な高解像度画像を、特に「最終高解像度画像」と呼び、超解像処理の完了前に得られる中間的な高解像度画像を、特に「中間生成高解像度画像」と呼ぶ。例えば、最終高解像度画像が画像Ｆｘ９である場合、画像Ｆｘ１〜Ｆｘ８の夫々は中間生成高解像度画像である。

［反復制御部５０による制御］
次に、反復制御部５０の制御によって実現される動作を詳説する。反復制御部５０の制御に着目した場合、画像Ｆａ及びＦｂに基づく超解像処理の実行時周辺の期間は、図９に示す如く、単純反復期間、段階表示期間及び完了処理期間に分類される。画像Ｆａ及びＦｂが超解像演算部４４に与えられた後、単純反復期間が開始され、単純反復期間の終了後、段階表示期間が開始され、段階表示期間の終了後、完了処理期間が開始される。超解像単位処理の繰り返し回数が上限回数に達したこと等に起因して超解像処理は完了するが、その完了時点が完了処理期間の開始時点である。

尚、単純反復期間の開始前において、画像Ｆａの画像データが信号処理部５２を介して表示処理部２０に与えられ、画像Ｆａに基づく表示画像（図６の画像３０１に対応）が表示部２７に表示される。画像Ｆａに基づく表示画像の代わりに、画像Ｆｂに基づく表示画像を表示しても良い。尚、以下、単に表示画像と言った場合、それは、表示部２７上に表示される画像を指し、単に表示画面といった場合、それは、表示部２７における表示画面を指す。また、本実施形態では、表示部２７が撮像装置１に備えられている表示部であることを想定しているが、表示部２７は、撮像装置１の外部の表示装置（液晶ディスプレイやプラズマディスプレイ）であってもよい。

反復制御部５０は、単純反復期間、段階表示期間及び完了処理期間において、以下のような動作が実行されるように第１及び第２信号制御部５１及び５３を制御する。

単純反復期間では、超解像演算部４４から出力される高解像度画像の画像データが第１信号制御部５１を介して超解像演算部４４にのみ与えられる。このため、単純反復期間では、表示部２７の表示画像は更新されない一方で、超解像単位処理の反復実行による高解像度画像の更新が行われる。

段階表示期間では、超解像演算部４４から出力される高解像度画像（中間生成高解像度画像）の画像データが、第１信号制御部５１を介して超解像演算部４４に与えられると共に第１信号制御部５１、信号処理部５２及び第２信号制御部５３を介して表示処理部２０に与えられる。このため、段階表示期間では、表示部２７の表示画像を最新の高解像度画像の内容にて更新可能である。また、この際、超解像単位処理の反復実行による高解像度画像の更新も引き続き行われる。

完了処理期間では、超解像演算部４４から出力される高解像度画像（最終高解像度画像）の画像データが、第１信号制御部５１を介して信号処理部５２にのみ与えられる。その画像データに基づき信号処理部５２にて生成された高解像度画像の映像信号は、第２信号制御部５３を介して表示処理部２０及び圧縮処理部１６に出力される。完了処理期間は、超解像処理の完了後に訪れる期間である。

数値例を挙げてより具体的に説明する。図９に示す如く、単純反復期間の開始時刻、段階表示期間の開始時刻、完了処理期間の開始時刻（即ち、超解像処理の完了時点）が、夫々、ｔ_A、ｔ_B及びｔ_Cであるとする。また、高解像度画像Ｆｘ９が得られた時点で超解像処理が完了する場合を想定する。つまり、画像Ｆｘ９が最終高解像度画像であることを想定する。また、時刻ｔ_Bにおける最新の高解像度画像がＦｘ３であるとする。

超解像演算部４４は、時刻ｔ_Aを起点として超解像処理を開始する（例えば、初期高解像度画像Ｆｘ１の生成を開始する）。単純反復期間において、超解像演算部４４にて画像Ｆｘ１、Ｆｘ２及びＦｘ３が順次生成される。画像Ｆｘ１、Ｆｘ２及びＦｘ３の画像データは第１信号制御部５１からフレームメモリ６５には与えられるものの信号処理部５２には与えられない。従って、単純反復期間中における表示画像に、画像Ｆｘ１、Ｆｘ２及びＦｘ３の内容は反映されない。

その後、段階表示期間に至ると、時刻ｔ_Bと時刻ｔ_Cとの間において、画像Ｆｘ４〜Ｆｘ８が超解像演算部４４によって順次生成される一方で、画像Ｆｘ４〜Ｆｘ８が第１信号制御部５１、信号処理部５２及び第２信号制御部５３を介して、順次、表示処理部２０に与えられる。このため、画像Ｆｘ４が表示処理部２０に与えられた時点で、画像Ｆｘ４を用いて表示部２７の表示画像を更新することができ、画像Ｆｘ５が表示処理部２０に与えられた時点で、画像Ｆｘ５を用いて表示部２７の表示画像を更新することができる。例えば、表示処理部２０は、画像Ｆｘ４が表示処理部２０に与えられた時、画像Ｆｘ４の全体又は一部を表示部２７に表示させ、画像Ｆｘ５が表示処理部２０に与えられた時、画像Ｆｘ５の全体又は一部を表示部２７に表示させることができる。画像Ｆｘ６〜Ｆｘ８についても同様である。図６の画像３０３及び３０４は、段階表示期間中に表示される画像に対応する。

時刻ｔ_Cにおいて画像Ｆｘ９が生成されると段階表示期間から完了処理期間に移行する。画像Ｆｘ９の画像データは、第１信号制御部５１を介して信号処理部５２に与えられて映像信号に変換され、その映像信号（画像Ｆｘ９の映像信号）は、第２信号制御部５３を介して表示処理部２０及び圧縮処理部１６に送られる。表示処理部２０は、画像Ｆｘ９の映像信号が与えられた時、画像Ｆｘ９を用いて表示部２７の表示画像を更新することができる。例えば、表示処理部２０は、画像Ｆｘ９が表示処理部２０に与えられた時、画像Ｆｘ９の全体又は一部を表示部２７に表示させることができる。図６の画像３０２は、完了処理期間中又は完了処理期間後に表示される画像に対応する。また、圧縮処理部１６は、画像Ｆｘ９の映像信号を圧縮し、その圧縮された映像信号は外部メモリ１８に保存される。

反復制御部５０は、着目時点が単純反復期間及び段階表示期間のどちらに属しているのかを所定の反復制御用指標に基づいて判定すると共に、その反復制御用指標に基づいて段階表示期間中における表示画像の更新タイミングを制御する。この反復制御用指標の例を以下に示す。尚、後にも述べられるが、単純反復期間を存在させなくすることも可能である。つまり、超解像処理の開始後、ただちに段階表示期間に移行するようにしてもよい
（時刻ｔ_Aと時刻ｔ_Bを一致させても良い）

第１の反復制御用指標は、超解像処理の実行開始時点（即ち、時刻ｔ_A）からの経過時間である。第１の反復制御用指標を用いる場合、反復制御部５０は、着目時点における時刻ｔ_Aからの経過時間ＴＥと、所定の基準経過時間ＴＥ_REF0とを比較する。そして、ＴＥ＜ＴＥ_REF0である時、着目時点が単純反復期間に属していると判断し、ＴＥ≧ＴＥ_REF0であって且つ超解像処理が完了していないとき、着目時点が段階表示期間に属していると判断する。そして、着目時点が段階表示期間に属している時、経過時間ＴＥと所定の基準経過時間ＴＥ_REF1、ＴＥ_REF2、ＴＥ_REF3、・・・とを比較し、図１０に示す如く、経過時間ＴＥが基準経過時間ＴＥ_REF1、ＴＥ_REF2、ＴＥ_REF3、・・・に達した時点において、夫々、第１回目、第２回目、第３回目、・・・の表示更新処理を行う。

ここで、０＜ＴＥ_REF0≦ＴＥ_REF1＜ＴＥ_REF2＜ＴＥ_REF3、・・・である。但し、ＴＥ_REF＝０とすることもできる。ＴＥ_REFをゼロに設定した場合は、単純反復期間が存在しなくなる。

着目時点における表示更新処理では、その着目時点において得られている最新の高解像度画像が表示部２７の表示画像に反映される。例えば、着目時点において得られている最新の高解像度画像が画像Ｆｘ４である場合、その画像Ｆｘ４の全体又は一部が表示部２７に表示されるように表示画像を更新する。１回目の表示更新処理と２回目の表示更新処理との間において、高解像度画像の更新が複数回実行されている場合もあり、この場合は、１回目の表示更新処理において画像Ｆｘｉが表示画像に反映され、２回目の表示更新処理において画像Ｆｘ（ｉ＋１）以外の高解像度画像（例えば、画像Ｆｘ（ｉ＋２））が表示画像に反映される。

第２の反復制御用指標は、画像Ｆａ及びＦｂに対する超解像単位処理の実行回数ＰＮである。実行回数ＰＮが１、２、３、・・・の時、超解像演算部４４から画像Ｆｘ２、Ｆｘ３、Ｆｘ４・・・が出力される。第２の反復制御用指標を用いる場合、反復制御部５０は、着目時点における実行回数ＰＮと所定の基準回数ＰＮ_REF0とを比較する。そして、ＰＮ＜ＰＮ_REF0が成立するならば、着目時点が単純反復期間に属していると判断する。一方、ＰＮ≧ＰＮ_REF0が成立し且つ超解像処理が完了していないとき、着目時点が段階表示期間に属していると判断する。そして、着目時点が段階表示期間に属している時、実行回数ＰＮと所定の基準回数ＰＮ_REF1、ＰＮ_REF2、ＰＮ_REF3、・・・とを比較し、図１１に示す如く、実行回数ＰＮが基準回数ＰＮ_REF1、ＰＮ_REF2、ＰＮ_REF3、・・・に達した時点において、夫々、第１回目、第２回目、第３回目、・・・の表示更新処理を行う。ここで、１≦ＰＮ_REF0≦ＰＮ_REF1＜ＰＮ_REF2＜ＰＮ_REF3、・・・である。

第３の反復制御用指標は、超解像単位処理の反復実行による高解像度画像の画質改善量である。上述したように、図８の更新量算出部６３において、高解像度画像Ｆｘｉの画素値を表す行列Ｘから２枚の推定低解像度画像の画素値を表す行列Ｗａ・Ｘ及びＷｂ・Ｘが生成され、推定低解像度画像と実低解像度画像との誤差｜Ｗａ・Ｘ−Ｙａ｜及び｜Ｗｂ・Ｘ−Ｙｂ｜に応じた更新量∂Ｉ／∂Ｘが算出されて、該更新量∂Ｉ／∂Ｘに基づく更新によって高解像度画像Ｆｘｉから高解像度画像Ｆｘ（ｉ＋１）が生成される。このような更新量∂Ｉ／∂Ｘによる更新は、高解像度画像の画質を改善するために反復実行される。

従って、更新量∂Ｉ／∂Ｘから、超解像単位処理の反復実行による高解像度画像の画質改善量を推定することができる。第３の反復制御用指標を利用する場合、具体的には以下のように処理する。

更新量∂Ｉ／∂Ｘは行列Ｘの要素数と同じだけの要素数を有する行列によって表現されている。反復制御部５０は、高解像度度画像の更新の度に、更新量∂Ｉ／∂Ｘの各要素の絶対値の総和を求める。高解像度画像Ｆｘｉから高解像度画像Ｆｘ（ｉ＋１）を生成する時に用いた更新量∂Ｉ／∂Ｘの各要素の絶対値の総和をＱ_iにて表す。総和Ｑ_iは、高解像度画像Ｆｘｉから見た高解像度画像Ｆｘ（ｉ＋１）の画質改善量を表し、総和Ｑ_iが大きいほど、その画質改善量は大きいといえる。

反復制御部５０は、高解像度画像Ｆｘ（ｉ＋１）が生成された時、式“ＥＶ_i＝（Ｑ₁＋Ｑ₂＋・・・Ｑ_i）”に従って、改善評価値ＥＶ_iを算出する。この改善評価値ＥＶ_iは、初期高解像度画像Ｆｘ１から見た高解像度画像Ｆｘ（ｉ＋１）の画質改善量を表している。このため、改善評価値ＥＶ_iを算出することによって、その画質改善量の推定を行う推定部（不図示）が反復制御部５０に内包されている、と考えることもできる。図１２に、超解像単位処理の実行回数ＰＮと改善評価値ＥＶ_iの関係を示す。

第３の反復制御用指標を利用する反復制御部５０は、着目時点における改善評価値ＥＶ_iと、所定の基準評価値ＥＶ_REF0とを比較する。そして、ＥＶ_i＜ＥＶ_REF0である時、着目時点が単純反復期間に属していると判断し、ＥＶ_i≧ＥＶ_REF0であって且つ超解像処理が完了していないとき、着目時点が段階表示期間に属していると判断する。そして、着目時点が段階表示期間に属している時、改善評価値ＥＶ_iと所定の基準評価値ＥＶ_REF1、ＥＶ_REF2、ＥＶ_REF3、・・・とを比較し、図１２に示す如く、改善評価値ＥＶ_iが基準基準評価値ＥＶ_REF1、ＥＶ_REF2、ＥＶ_REF3、・・・に達した時点において、夫々、第１回目、第２回目、第３回目、・・・の表示更新処理を行う。ここで、０＜ＥＶ_REF0≦ＥＶ_REF1＜ＥＶ_REF2＜ＥＶ_REF3、・・・である。

［表示処理部］
次に、表示処理部２０の構成例を示す。図１３は、第１実施例に係る表示処理部２０の内部ブロック図を示している。図１３の表示処理部２０は、表示用映像処理部７１、ＶＲＡＭ（Video Random Access Memory）７２及び表示ドライバ７３を備えている。

撮影モードにおいては映像信号処理部１３からの映像信号が表示用映像処理部７１に入力され、再生モードにおいては外部メモリ１８からの映像信号が伸張処理部１９を介して表示用映像処理部７１に入力される。表示用映像処理部７１に入力される映像信号は、例えば、超解像処理が施されてない低解像度画像の映像信号、又は、図７の映像信号処理部１３から出力される最終高解像度画像又は中間生成高解像度画像の映像信号である。

表示用映像処理部７１は、与えられた映像信号によって表される画像（低解像度画像又は高解像度画像）が表示部２７上にて表示可能となるように、その画像の解像度変換を行い、解像度変換後の画像の映像信号をＶＲＡＭ７２に書き込む。ＶＲＡＭ７２は、表示部２７に対するビデオ表示部分のメモリである。表示ドライバ７３は、ＶＲＡＭ７２に書き込まれた映像信号によって表される画像を表示部２７の表示画面に表示させる。

［表示用映像処理部］
表示部２７の表示画面上に高解像度画像（及び低解像度画像）の全体を表示させることも可能であるが、撮像装置１に備えられる表示パネル２７の解像度は、通常、映像信号処理部１３にて生成される画像の解像度よりも低いため、高解像度画像の全体画像領域を表示画面に表示させると、超解像処理の効果が分かりにくい。これを考慮し、高解像度画像の全体画像ではなく高解像度画像の一部画像を表示部２７に表示させるようにしてもよい。勿論、表示部２７が撮像装置１の外部の表示装置であって、その表示装置の解像度が十分に高い場合は、高解像度画像の全体画像に表示するようにしてもよい。以下、高解像度画像の一部画像を表示部２７に表示させる場合の処理例を説明する。

表示用映像信号処理部７１は、高解像度画像の全体から一部を切り出す切り出し処理を用いて、高解像度画像の一部画像領域を切り出し領域として抽出する。必要に応じ、切り出し処理の前後において、高解像度画像の画像サイズを縮小する縮小処理を行うことも可能である。切り出し領域後の画像サイズ、又は、縮小処理及び切り出し領域後の画像サイズは、表示部２７の解像度に応じて決定する。図１４（ａ）において、符号３２０は高解像度画像の全体画像領域を表し、符号３２１は切り出し領域を表す。図１４（ｂ）の符号３２２は、切り出し領域３２１内の画像に相当する表示画像を表している。

単純には例えば、高解像度画像上の所定位置における所定形状の領域を切り出し領域として設定することができる。より具体的には例えば、高解像度画像の中央付近に位置する、所定画像サイズの矩形領域を切り出し領域として抽出することができる。

また、人物の顔部分が表れる顔領域又は顔領域を含む領域を切り出し領域として設定することもできる。映像信号処理部１３に含まれる顔検出部（不図示）は、例えば、高解像度画像の元となる低解像度画像Ｆａ（又はＦｂ）の画像データに基づき、公知の顔検出処理によって低解像度画像Ｆａ（又はＦｂ）上の顔領域の位置及び大きさを検出する。この検出結果に基づいて、高解像度画像上の顔領域の位置及び大きさを算出し、その算出結果から、高解像度画像上の切り出し領域の位置及び大きさを求めることができる。

また、ピントの合っている領域を、切り出し領域として設定することもできる。ピントが合っている領域に、撮影者が注目する主要な被写体が存在している可能性が高いからである。例えば、ＴＴＬ（Through The Lends）方式のコントラスト検出法を用いたオートフォーカス制御に利用されるＡＦ評価値に基づいて、ピントが合っている領域を検出することができる。より具体的には例えば、映像信号処理部１３に含まれるＡＦ評価部（不図示）は、高解像度画像の元となる低解像度画像Ｆａ（又はＦｂ）の全体画像領域を複数のＡＦ評価領域に分割し、低解像度画像Ｆａ（又はＦｂ）の画像データから各ＡＦ評価領域におけるコントラストを検出する。ＡＦ評価領域に含まれる高域周波数成分の量を算出することによって、コントラストに応じたＡＦ評価値を求めることができる。そして、複数のＡＦ評価領域の内、検出されたコントラスト（ＡＦ評価値）が最も大きなＡＦ評価領域がピントの合っている領域であると判断して、そのピントの合っている領域に対応する高解像度画像上の領域を切り出し領域に設定する。

また、ユーザによる手動操作（操作部２６に対する操作など）に従って、切り出し領域の位置及び大きさを設定しても良い。

［付加項目の表示］
また、高解像度画像の全体又は一部を表す画像に付加項目を重畳し、この重畳後の画像を表示することも可能である。以下に付加項目の例（指標３３１、３３２及び３４０並びに画像３３５）を説明する。付加項目の生成するための処理を、表示用映像処理部７１にて行うことも可能であるし、映像信号処理部１３にて行うことも可能である。

例えば、図１５に示す如く、単純反復期間又は段階表示期間において、高解像度画像の一部（又は全体）を表す画像に残り処理時間及び経過時間ＴＥを表す指標３３１を重畳し、重畳後の画像を表示画像として表示する。指標３３１は画像の水平方向に対して長手方向を有し且つ第１色及び第２色を有する矩形領域であり、その矩形領域内を占める第１色及び第２色領域の面積比率によって残り処理時間及び経過時間ＴＥを表現する。図１５において、第１色領域は斜線領域で示されている。第１及び第２色領域は、夫々、指標３３１の全体を表す矩形領域の左側及び右側に配置され、経過時間ＴＥが増大するにつれて、第２色領域の左端と一致する、第１色領域の右端が右側に移動していく。着目時点における残り処理時間は、着目時点から起算した、超解像処理が完了するまでに必要な時間であり、全処理時間から着目時点における経過時間ＴＥを差し引くことによって求まる。全処理時間は、図９の時刻ｔ_Aから時刻ｔ_Cまでの時間であり、超解像処理が完了するまでに反復実行されるべき超解像単位処理の回数と低解像度画像及び高解像度画像の画像サイズから計算される。

また例えば、図１６に示す如く、単純反復期間又は段階表示期間において、高解像度画像の一部（又は全体）を表す画像に上記指標３３１と共に表示更新処理の実行タイミングを示す指標３３２を重畳し、その重畳後の画像を表示画像として表示してもよい。図１６において、指標３３２は、指標３３１の下方に位置する、複数の線分から形成される。経過時間ＴＥの増大に伴って第１色領域の右端が右側に移動してゆき、その右端の左右方向における位置が複数の線分の何れかの描画位置と一致したとき、表示更新処理が１回分実行される。表示更新処理の実行タイミングを予め設定又は予想しておくことにより、各線分の描画位置は決定される。

また例えば、図１７に示す如く、段階表示期間又は完了処理期間において、高解像度画像の一部を表す画像（切り出し領域の画像）に高解像度画像の全体の縮小画像３３５を重畳し、その重畳後の画像を表示画像として表示してもよい。縮小画像３３５は、高解像度画像の元となる低解像度画像（Ｆａ又はＦｂ）の全体の縮小画像であってもよい。

また例えば、図１８（ａ）に示す如く、段階表示期間又は完了処理期間において、高解像度画像の一部（又は全体）を表す画像に超解像処理の効果の期待度を示す指標３４０を重畳し、その重畳後の画像を表示画像として表示してもよい。より具体的には例えば、図１８（ｂ）に示すようなアイコンを用いて、期待度を３段階で分類して表示する。超解像処理によって得られる高解像度画像の解像力（実質的な解像度）は低解像度画像のそれよりも高い。ここにおける期待度とは、超解像処理によって得られる高解像度画像の、低解像度画像に対する、解像力の向上度度合いを指す。

超解像処理による解像力向上は、画像Ｆａ及びＦｂ間にサブピクセル単位の位置ずれが生じていることを前提にして実現される。仮に、画像Ｆａ及びＦｂ間の動き量が完全にゼロであれば、画像Ｆａと画像Ｆｂは完全に同じ画像であるため（実空間上における被写体の動きを無視）、超解像処理による解像力向上は望めない。一方、画像Ｆａ及びＦｂ間に適切な位置ずれが存在しておれば、高い解像力向上を期待できる。

このような観点から、期待度を、高解像度画像の元となる低解像度画像Ｆａ及びＦｂ間の動き量に基づいて推定することができる。例えば、動き量記憶部４３の記憶内容に基づき、画像Ｆａ及びＦｂの動き量の水平成分及び垂直成分を検出し、更に、検出した水平成分の小数点部分Ｍ_abH及び検出した垂直成分の小数点部分Ｍ_abVを求める。ここにおける小数点部分とは、低解像度度画像の隣接画素間隔ｐｐ_Lを１とおいた場合における小数点部分である。そして、小数点部分Ｍ_abH及びＭ_abVに基づいて評価値ＥＶ_Aを求め、ＥＶ_A＞ＥＶ_A1である時は期待度が第１期待度であると推定し、ＥＶ_A1≧ＥＶ_A＞ＥＶ_A2である時は期待度が第２期待度であると推定し、ＥＶ_A2≧ＥＶ_Aである時は期待度が第３期待度であると推定した上で、推定した期待度を指標３４０に反映させる。「ＥＶ_A1＞ＥＶ₂＞０」が成立するように、ＥＶ_A1及びＥＶ_A2の値は予め設定される。

ここで、評価値ＥＶ_Aは、小数点部分Ｍ_abH及びＭ_abVが（０．５×ｐｐ_L）に近いほど高い値をとるような評価値である。例えば、（｜Ｍ_abH−０．５×ｐｐ_L｜＋｜Ｍ_abV−０．５×ｐｐ_L｜）の逆数を評価値ＥＶ_Aとする。超解像処理では、画像Ｆａ及びＦｂ間の動き量に相当する画像Ｆａ及びＦｂ間の位置ずれを補正し、位置ずれ補正後の画像Ｆａ及びＦｂを組み合わせることで高解像度化を図る。仮に、Ｍ_abH及びＭ_abVが共にゼロ（或いは略ゼロ）であれば、図１９（ａ）に示す如く、位置ずれ補正後の画像Ｆａ及びＦｂの対応画素位置は重なり合い、画像Ｆａ及びＦｂの対応画素は被写体の同じ位置の情報しか示さない。このような状況及びこれに類似する状況では、高い解像力向上効果が見込めない。一方、小数点部分Ｍ_abH及びＭ_abVが（０．５×ｐｐ_L）に近ければ、図１９（ｂ）に示す如く、画像Ｆａだけでは得られなかった、画像Ｆａの隣接画素間の中間位置付近における被写体の情報を画像Ｆｂから得ることができるため、高い解像力向上効果を期待できる。

［再生時に超解像処理を実行］
上述の説明は、撮影モードにおいて超解像処理を行うことを想定しているが、再生モードにおいて超解像処理を行うことも可能である。この場合、まず、撮影モードにおいて低解像度画像Ｆａ及びＦｂを取得し、画像Ｆａ及びＦｂの画像データを圧縮処理部１６にて圧縮してから外部メモリ１８に記録しておく。その後、再生モードにおいて、外部メモリ１８に記録された画像Ｆａ及びＦｂの圧縮画像データを伸張処理部１９にて伸張し、伸張によって得られた画像Ｆａ及びＦｂの画像データを、順次、図７に示される超解像処理部４０に入力すればよい。

つまり、超解像処理部４０に対する画像Ｆａ及びＦｂの画像データの入力主体は、撮影モードで超解像処理を行う場合においてはＡＦＥ１２であり、これに対し、再生モードで超解像処理を行う場合においては伸張処理部１９である。超解像処理部４０に対する画像Ｆａ及びＦｂの画像データの入力主体が異なる点を除き、超解像処理部４０の動作及び超解像処理部４０の出力データを受ける部位（反復制御部５０、第１信号制御部５１、信号処理部５２、第２信号制御部５３、表示処理部２０）の動作は、撮影モード及び再生モード間で同様である。従って、再生モードにおいて超解像処理を行う場合も、上述したものと同様の、中間高解像度画像を利用した表示更新処理が実行される。

尚、画像Ｆａ及びＦｂに基づく超解像処理が完了し、画像Ｆａ及びＦｂに基づく最終高解像度画像が得られると、その最終高解像度画像の画像データは圧縮処理部１６を介して外部メモリ１８に記録される。一度、画像Ｆａ及びＦｂに基づく最終高解像度画像が得られると、画像Ｆａ及びＦｂに基づく超解像処理の再実行は不要である。

また、超解像処理部５０を映像信号処理部１３内に設ける例を上述したが（図７参照）、再生モードにおいて超解像処理を行うことを主眼におき、超解像処理部５０及び表示更新処理の実行制御を担う部位（主として、反復制御部５０）を表示処理部２０内に設けておくことも可能である。

＜＜第２実施例＞＞
本発明の第２実施例を説明する。上述の第１実施例では、低解像度画像Ｆａ及びＦｂの全体から高解像度画像Ｆｘ１の全体を生成し、その後、１つの超解像単位処理によって高解像度画像Ｆｘｉの全体から高解像度画像Ｆｘ（ｉ＋１）の全体を同時期に生成している。そして、最終高解像度画像が得られるまでに相応の時間がかかることを考慮し、超解像処理の実行中において、超解像処理の中間結果ともいうべき中間高解像度画像を表示するようにしている。

これに対し、第２実施例では、低解像度画像及び高解像度画像の全体画像領域を複数の領域に分割し、複数の分割領域に対する超解像処理を時分割で実行する。そして、分割領域に対する超解像処理の結果を、超解像処理を終えた分割領域から順に表示していく。

より具体的に説明する。図２０に、第２実施例に係る超解像処理部４０ａの内部ブロック図を示す。超解像処理部４０ａを、図１の映像信号処理部１３又は表示処理部２０内に設けることが可能である。超解像処理部４０ａは、符号４１〜４３及び４４ａによって参照される各部位を備える。超解像処理部４０ａ内のメモリ部４１、動き量算出部４２及び動き量記憶部４３は、図７に示すものと同じものである。

再生モードにおいては外部メモリ１８から伸張処理部１９を介して、撮影モードにおいてはＡＦＥ１２から、画像Ｆａ及びＦｂの画像データが超解像処理部４０ａに入力される。第１実施例で述べたように、画像Ｆａ及びＦｂ間の動き量が動き算出部４２にて算出されて動き量記憶部４３に記憶される。画像Ｆａ及びＦｂの画像データは、メモリ部４１を介して超解像演算部４４ａに入力される。

超解像演算部４４ａは、図８の超解像演算部４４と同様の構成及び機能を有する。但し、超解像演算部４４ａでは、減算部６４の出力データはフレームメモリ６５に直接与えられ、フレームメモリ６５は減算部６４から出力される高解像度画像の画像データを記憶する。また、図８の超解像演算部４４が高解像度画像の全体の画像データを同時期に生成するに対して、超解像演算部４４ａは、高解像度画像における、第１、第２、第３、・・・の分割領域の画像データを順番に生成する。

説明の具体化のため、低解像度画像及び高解像度画像の全体画像領域を、９つに分割する場合を考える。図２１に示す如く、低解像度画像Ｆａ、Ｆｂ及び高解像度画像の夫々の全体画像領域を垂直及び水平方向に夫々３等分することにより、分割領域ＤＲ₁〜ＤＲ₉を形成する。画像Ｆａの全体画像領域は、画像Ｆａの分割領域ＤＲ₁〜ＤＲ₉を合成したものであり、画像Ｆｂの全体画像領域は、画像Ｆｂの分割領域ＤＲ₁〜ＤＲ₉を合成したものであり、高解像度画像の全体画像領域は、高解像度画像の分割領域ＤＲ₁〜ＤＲ₉を合成したものである。

超解像演算部４４ａは、分割領域ごとに超解像処理を実行する。個々の超解像処理の内容自体は、第１実施例で示したものと同じである。超解像演算部４４ａは、「分割領域ＤＲ_jに対する超解像処理を実行し、それが完了した後に分割領域ＤＲ_j+1に対する超解像処理を実行する」という動作を、全分割領域に対する超解像処理が完了するまで繰り返し実行する（ここで、ｊは自然数）。

図２２及び図２３を参照して、第２実施例に係る超解像処理及び表示画像の変遷の様子を説明する。時刻ｔ₀に画像Ｆａ及びＦｂの画像データが超解像演算部４４ａに入力され、図２２に示す如く、時刻ｔ₀の後、時間が進行するにつれ、時刻ｔ₁、ｔ₂、・・・、ｔ₉が、この順番で訪れるものとする。図２３は、表示画像が時間の経過と共に変化していく様子を示している。図２３において、画像４０１、４０２、４０３及び４０４は、夫々、時刻ｔ₀、ｔ₁、ｔ₂、及びｔ₉における表示画像を示しており、図２３の表示画像内に示された斜線領域は、超解像処理済みの部分を示している。

時刻ｔ₀において、表示処理部２０は、低解像度画像Ｆａの全体画像を表示画像４０１として表示する。超解像演算部４４ａは、時刻ｔ₀−ｔ₁間において、画像Ｆａの分割領域ＤＲ₁内の画像データと画像Ｆｂの分割領域ＤＲ₁内の画像データを用いた超解像処理を実行し、これによって高解像度画像の分割領域ＤＲ₁内の画像データを生成する。その後、時刻ｔ₁−ｔ₂間において、画像Ｆａの分割領域ＤＲ₂内の画像データと画像Ｆｂの分割領域ＤＲ₂内の画像データを用いた超解像処理を実行し、これによって高解像度画像の分割領域ＤＲ₂内の画像データを生成する。時刻ｔ₂−ｔ₃間などについても同様である。つまり、超解像演算部４４ａは、時刻ｔ_j-1−ｔ_j間において、画像Ｆａの分割領域ＤＲ_j内の画像データと画像Ｆｂの分割領域ＤＲ_j内の画像データを用いた超解像処理を実行し、これによって高解像度画像の分割領域ＤＲ_j内の画像データを生成する（ここで、ｊは自然数）。超解像演算部４４ａでは、時刻ｔ_j-1−ｔ_j間における、このような単位処理を、９回分、順次実行する。

画像Ｆａの分割領域ＤＲ_j内の画像データと画像Ｆｂの分割領域ＤＲ_j内の画像データを用いた超解像処理は、分割領域ＤＲ_jについての画像Ｆａ及びＦｂ間の動き量に基づいて実行される。分割領域ＤＲ_jについての画像Ｆａ及びＦｂ間の動き量は、動き量算出部４２によって算出されて動き量記憶部４３に記憶されている。動き量算出部４２は、画像Ｆａの分割領域ＤＲ_j内の画像データと画像Ｆｂの分割領域ＤＲ_j内の画像データとに基づいて、分割領域ＤＲ_jについての画像Ｆａ及びＦｂ間の動き量を算出する。つまり、動き量算出部４２は、分割領域ごとに、画像Ｆａ及びＦｂ間の動き量を算出する。但し、画像Ｆａ及びＦｂの全体に対して１つの動き量を求め、その１つの動き量を、画像Ｆａ及びＦｂ間の、全分割領域ＤＲ₁〜ＤＲ₉についての動き量として共通使用することも可能である。

時刻ｔ₁において、高解像度画像の分割領域ＤＲ₁内の画像データが生成されると、その画像データは超解像処理部４０ａから表示処理部２０に送られ、表示処理部２０は、低解像度画像Ｆａの分割領域ＤＲ₂〜ＤＲ₉内の画像データと高解像度画像の分割領域ＤＲ₁内の画像データとに基づいて、図２３の表示画像４０２を表示部２７に表示させる。表示画像４０２は、低解像度画像Ｆａの分割領域ＤＲ₂〜ＤＲ₉内の画像と、高解像度画像の分割領域ＤＲ₁内の画像（中間生成画像）とを合成した画像である。

同様に、時刻ｔ₂において、高解像度画像の分割領域ＤＲ₂内の画像データが生成されると、その画像データは超解像処理部４０ａから表示処理部２０に送られ、表示処理部２０は、低解像度画像Ｆａの分割領域ＤＲ₃〜ＤＲ₉内の画像データと高解像度画像の分割領域ＤＲ₁及びＤＲ₂内の画像データとに基づいて、図２３の表示画像４０３を表示部２７に表示させる。表示画像４０３は、低解像度画像Ｆａの分割領域ＤＲ₃〜ＤＲ₉内の画像と、高解像度画像の分割領域ＤＲ₁及びＤＲ₂内の画像（２枚の中間生成画像）とを合成した画像である。

時刻ｔ₃〜ｔ₈についても同様の表示画像の更新が行われ、時刻ｔ₉において、高解像度画像の分割領域ＤＲ₉内の画像データが生成されると、画像Ｆａ及びＦｂの全体画像領域に対する超解像処理は終了する。時刻ｔ₉において、高解像度画像の分割領域ＤＲ₉内の画像データは、表示処理部２０に送られ、表示処理部２０は、時刻ｔ₁〜ｔ₉において送られてきた高解像度画像の分割領域ＤＲ₁〜ＤＲ₉内の画像データに基づいて、図２３の表示画像４０４を表示部２７に表示させる。表示画像４０４は、高解像度画像の分割領域ＤＲ₁〜ＤＲ₉内の画像を合成した画像、即ち、最終的に生成されるべき高解像度画像の全体画像である。超解像処理部４０ａにて生成された高解像度画像の全画像データは、圧縮処理部１６を介して外部メモリ１８に記録される。

尚、上述の説明では、超解像処理の対象となる分割領域が、左上から右下に向かってラスタ走査のように走査されているが、この走査の方法は任意に変更可能である。

＜＜第３実施例＞＞
本発明の第３実施例を説明する。上述の第１及び第２実施例では、入力画像に対して行われるべき演算処理（画像処理）が超解像処理であることを前提とし、最終的に得るべき出力画像の生成に相応の時間がかかることに鑑みて、演算処理の実行過程で生成される演算処理の中間結果を段階的に表示するようにしている。第１及び第２実施例にとっての上記入力画像は、複数枚の低解像度画像であり、第１及び第２実施例にとっての上記出力画像は、１枚の最終高解像度画像である。

しかしながら、本発明において、入力画像から出力画像を生成するための所定の演算処理は超解像処理に限定されず、また、その演算処理に第１実施例の超解像単位処理のような処理の反復実行が含まれているか否かも問わない。故に、出力画像を得るための入力画像の枚数も複数枚とは限らず、１枚であっても良い。所定の演算処理は、空間フィルタリング、周波数フィルタリング、幾何学的変換などの任意の画像処理である。このように、本発明にかかる表示方法は、比較的長い時間（例えば数秒〜数十秒）がかかる演算処理によって入力画像から出力画像を生成する、任意の装置又は方法に適用可能である。尚、当然ではあるが、入力画像と出力画像は互いに異なる画像である。

入力画像は撮像装置１の撮影によって得られた画像でなくても構わないが、今、入力画像が撮像装置１の撮影によって得られた１枚のフレーム画像であることを想定して、以下に、第３実施例に係る表示方法の具体例を説明する。この表示方法の具体例は、第２実施例に係るそれと類似している。

映像信号処理部１３は、１枚の入力画像（フレーム画像）Ｉ_INに対して所定の演算処理を施すことで１枚の出力画像Ｉ_Oを生成する。映像信号処理部１３は、入力画像Ｉ_IN及び出力画像Ｉ_Oの全体画像領域を複数の分割領域に分割する。説明の具体化のため、図２１の示す如く、入力画像Ｉ_IN及び出力画像Ｉ_Oの夫々の全体画像領域を垂直及び水平方向に夫々３等分することにより、分割領域ＤＲ₁〜ＤＲ₉を形成する。入力画像Ｉ_INの全体画像領域は、入力画像Ｉ_INの分割領域ＤＲ₁〜ＤＲ₉を合成したものであり、出力画像Ｉ_Oの全体画像領域は、出力画像Ｉ_Oの分割領域ＤＲ₁〜ＤＲ₉を合成したものである。映像信号処理部１３は、分割領域ごとに所定の演算処理を実行する。映像信号処理部１３は、「入力画像Ｉ_INの分割領域ＤＲ_j内の画像に対して所定の演算処理を実行し、それが完了した後に入力画像Ｉ_INの分割領域ＤＲ_j+1内の画像に対して所定の演算処理を実行する」という動作を、所定の演算処理が全分割領域に対して完了するまで繰り返し実行する（ここで、ｊは自然数）。

時刻ｔ₀の後、時間が進行するにつれ、時刻ｔ₁、ｔ₂、・・・、ｔ₉が、この順番で訪れるものとする。時刻ｔ₀において、表示処理部２０は、入力画像Ｉ_INの全体画像を表示画像として表示する。映像信号処理部１３は、時刻ｔ_j-1−ｔ_j間において、入力画像Ｉ_INの分割領域ＤＲ_j内の画像（画像データ）に対して所定の演算処理を実行し、これによって出力画像Ｉ_Oの分割領域ＤＲ_j内の画像（画像データ）を生成する（ここで、ｊは自然数）。時刻ｔ_j-1−ｔ_j間における、このような単位処理が、９回分、順次実行される。

時刻ｔ₁において、出力画像Ｉ_Oの分割領域ＤＲ₁内の画像データが生成されると、その画像データは表示処理部２０に送られ、表示処理部２０は、入力画像Ｉ_INの分割領域ＤＲ₂〜ＤＲ₉内の画像データと出力画像Ｉ_Oの分割領域ＤＲ₁内の画像データとに基づき、入力画像Ｉ_INの分割領域ＤＲ₂〜ＤＲ₉内の画像と出力画像Ｉ_Oの分割領域ＤＲ₁内の画像（中間生成画像）とを合成した画像を、表示部２７に表示させる。

同様に、時刻ｔ₂において、出力画像Ｉ_Oの分割領域ＤＲ₂内の画像データが生成されると、その画像データは表示処理部２０に送られ、表示処理部２０は、入力画像Ｉ_INの分割領域ＤＲ₃〜ＤＲ₉内の画像データと出力画像Ｉ_Oの分割領域ＤＲ₁及びＤＲ₂内の画像データとに基づき、入力画像Ｉ_INの分割領域ＤＲ₃〜ＤＲ₉内の画像と出力画像Ｉ_Oの分割領域ＤＲ₁及びＤＲ₂内の画像（２枚の中間生成画像）とを合成した画像を、表示部２７に表示させる。

時刻ｔ₃〜ｔ₈についても同様の表示画像の更新が行われ、時刻ｔ₉において、出力画像Ｉ_Oの分割領域ＤＲ₉内の画像データが生成されると、入力画像Ｉ_INから出力画像Ｉ_Oを生成するための処理は終了する。時刻ｔ₉において、出力画像Ｉ_Oの分割領域ＤＲ₉内の画像データは表示処理部２０に送られ、表示処理部２０は、時刻ｔ₁〜ｔ₉において送られてきた出力画像Ｉ_Oの分割領域ＤＲ₁〜ＤＲ₉内の画像データに基づき、出力画像Ｉ_Oの分割領域ＤＲ₁〜ＤＲ₉内の画像を合成した画像、即ち最終的に生成されるべき出力画像Ｉ_Oの全体画像を表示部２７に表示させる。生成された出力画像Ｉ_Oの全画像データは、圧縮処理部１６を介して外部メモリ１８に記録される。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の実施形態では、高解像度画像を生成するために利用される低解像度画像の枚数が２となっているが、それは２以外であってもよい。

［注釈２］
上述の説明では、画像データに基づく演算によって実低解像度画像間の動き量を導出しているが、実空間上における撮像装置１の動きを検出するセンサ（不図示）の検出結果に基づいて、実低解像度画像間の動き量を導出するようにしてもよい。撮像装置１の動きを検出するセンサは、例えば、撮像装置１の角速度を検出する角速度センサ、撮像装置１の角加速度を検出する角加速度センサ、若しくは、撮像装置１の加速度を検出する加速度センサ、又は、それらの組み合わせである。また、そのようなセンサの検出結果と画像データの双方に基づいて、実低解像度画像間の動き量を導出してもよい。

［注釈３］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、映像信号処理部１３及び表示処理部２０内で実行される処理の全部又は一部を、ソフトウェアを用いて実現することも可能である。勿論、それらをハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

［注釈４］
例えば、以下のように考えることができる。第１実施例においては、図７の超解像処理部４０、反復制御部５０、第１信号制御部５１、信号処理部５２及び第２信号制御部５３と図１３の表示処理部２０とを含むブロックによって、第１の画像表示装置が形成される。第１の画像表示装置に、表示部２７が更に含まれていると考えることもできる。第１の画像表示装置は、超解像処理によって複数の低解像度画像から高解像度画像を生成する超解像処理部４０と、超解像処理部４０にて生成される高解像度画像に基づく表示画像を表示部２７に表示させる表示制御部とを含む。この表示制御部は、主として反復制御部５０及び表示処理部２０によって形成されるが、この表示制御部に、第１信号制御部５１、信号処理部５２及び第２信号制御部５３の全部又は一部が含まれていると考えることもできる。

第２実施例においては、超解像処理によって複数の低解像度画像から高解像度画像を生成する超解像処理部４０ａ（図２０）と、超解像処理部４０ａにて生成される高解像度画像に基づく表示画像を表示部２７に表示させる表示処理部２０（図１３）とを含むブロックによって、第２の画像表示装置が形成される。第２の画像表示装置に、表示部２７が更に含まれていると考えることもできる。

第３実施例においては、映像信号処理１３及び表示処理部２０を含むブロックによって、第３の画像表示装置が形成される。第３の画像表示装置に、表示部２７が更に含まれていると考えることもできる。

［注釈５］
上記の第１、第２又は第３の画像表示装置の機能を撮像装置１と異なる電子機器（例えば、画像処理機能を備えた画像再生装置；不図示）にて実現することも可能である。この場合、その電子機器内に第１、第２又は第３の画像表示装置と同等の画像表示装置を設けるようにし、撮像装置１にて１枚以上のフレーム画像を取得した後、その１枚以上のフレーム画像の画像データを無線又は有線にて或いは記録媒体を介して上記電子機器に供給すればよい。

本発明の実施形態に係る撮像装置の全体ブロック図である。 繰り返し演算を利用したＭＡＰ法に基づく再構成型の超解像処理の概念図である。 図２に対応する超解像処理の流れを表すフローチャートである。 超解像処理の実行時周辺の、表示画像の例を示す図である。 図１の撮像装置によって撮影されるべき被写体のアナログ画像を示す図である。 本発明の実施形態に係り、超解像処理の実行前後及び実行中の表示画像の例を示す図である。 本発明の第１実施例に係る映像信号処理部の内部ブロック図である。 図７の超解像演算部の内部ブロック図である。 本発明の第１実施例に係り、超解像処理の実行時周辺の期間が３つの期間に分類される様子を示す図である。 本発明の第１実施例に係り、超解像処理の実行開始時点からの経過時間と表示更新処理の実行タイミングとの関係を示す図である。 本発明の第１実施例に係り、超解像単位処理の実行回数と表示更新処理の実行タイミングとの関係を示す図である。 本発明の第１実施例に係り、超解像単位処理の実行回数と、超解像単位処理の反復実行による画質改善量を表す改善評価値との関係を示す図である。 本発明の第１実施例に係る表示処理部の内部ブロック図である。 本発明の第１実施例に係り、高解像度画像の全体を表す図（ａ）と表示画像（ｂ）とを示す図である。 本発明の第１実施例に係り、表示画像に付加項目が重畳される様子を示す図である。 本発明の第１実施例に係り、表示画像に他の付加項目が重畳される様子を示す図である。 本発明の第１実施例に係り、表示画像に更に他の付加項目が重畳される様子を示す図である。 本発明の第１実施例に係り、表示画像に更に他の付加項目が重畳される様子を示す図（ａ）と、その付加項目を表すアイコンを示す図（ｂ）である。 本発明の第１実施例に係り、位置合わせ後の２枚の低解像度画像間における画素位置関係の例を示す図である。 本発明の第１実施例に係り、位置合わせ後の２枚の低解像度画像間における画素位置関係の他の例を示す図である。 本発明の第２実施例に係り、画像の全体が複数の領域に分割される様子を示す図である。 本発明の第２実施例に係る超解像処理の流れを示す図である。 本発明の第２実施例に係り、表示画像の変遷の様子を示す図である。 従来技術に係り、撮影直後にユーザが確認する表示画像（低解像度画像）と事後的に保存される保存画像（高解像度画像）とを示す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１３ 映像信号処理部
２０ 表示処理部
２７ 表示部
３３ 撮像素子
４０、４０ａ 超解像処理部
４４、４４ａ 超解像演算部
５０ 反復制御部

Claims (6)

1. 所定の演算処理によって入力画像から出力画像を生成する演算処理部と、
   前記演算処理部の生成画像に基づく表示画像を表示部に表示させる表示制御部と、を備えた画像表示装置において、
   前記表示制御部は、前記演算処理の実行中において、前記演算処理の実行過程で生成される前記演算処理の中間結果を、段階的に前記表示部に表示させる
   ことを特徴とする画像表示装置。
2. 前記演算処理は、反復実行される単位処理を含み、
   前記演算処理部は、前記入力画像に基づく中間生成画像に対して前記単位処理を反復実行することにより前記中間生成画像を更新して最終的に前記出力画像を生成し、
   前記表示制御部は、前記単位処理が反復実行されているとき、前記単位処理の反復過程における前記中間生成画像から表示画像を生成して前記表示部に表示させる
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記表示制御部は、前記単位処理が反復実行されているとき、前記演算処理の実行開始時点からの経過時間または前記単位処理が反復実行された回数に応じて段階的に前記表示部の表示内容を更新し、更新時点における最新の中間生成画像を前記表示内容に反映させる
   ことを特徴とする請求項２に記載の画像表示装置。
4. 前記演算処理部は、前記中間生成画像の画質を改善するために前記単位処理を反復実行して前記中間生成画像を順次更新し、
   当該画像表示装置は、前記単位処理の反復実行による前記中間生成画像の画質改善量を推定する推定部を更に備え、
   前記表示制御部は、前記単位処理が反復実行されているとき、推定画質改善量に応じて段階的に前記表示部の表示内容を更新し、更新時点における最新の中間生成画像を前記表示内容に反映させる
   ことを特徴とする請求項２に記載の画像表示装置。
5. 前記演算処理は、第１〜第ｎの単位処理から成り、
   第ｉの単位処理により、前記入力画像の一部に基づく第ｉの中間生成画像が前記出力画像の一部として生成され、
   前記第１〜第ｎの単位処理によって生成された第１〜第ｎの中間生成画像を合成することで前記出力画像の全体が形成され、
   前記表示制御部は、前記演算処理の実行中において、その時点で得られている第１〜第ｍの中間生成画像を用いて表示画像を生成して前記表示部に表示させ、
   ｎ及びｍは自然数であってｎ＞ｍが成立し、ｉは１≦ｉ≦ｎを満たす整数である
   ことを特徴とする請求項１に記載の画像表示装置。
6. 撮影によって画像を取得する撮像部と、
   画像表示装置と、を備え、
   前記画像表示装置として請求項１〜請求項５の何れかに記載の画像表示装置を用い、
   前記画像表示装置は、前記撮像部によって取得された前記画像を前記入力画像として受けることを特徴とする撮像装置。

Images