JP2008293388A - 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器 - Google Patents

Abstract

【課題】 本発明は、低解像度画像から高解像度画像を取得する際の反復処理の反復回数を少なくしたときに得られた高解像度画像上のノイズを低減する画像処理方法及び画像処理装置を提供することを目的とする。
【解決手段】 高解像度更新量算出部４４３において、高解像度画像から推定される低解像度推定画像と、フレームメモリ４１，４２から与えられる低解像度実画像との間における差分に基づく勾配を求めることで、高解像度画像より減算する更新量を算出する。このとき、低解像度実画像においてノイズ成分の低い領域の画素に対する更新量を小さくし、逆に、ノイズ成分の高い領域の画素に対する更新量を大きくする。
【選択図】 図４

Description

本発明は、高解像度画像を生成する画像処理方法及び画像処理装置に関するもので、特に、複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理方法及び画像処理装置に関する。又、この画像処理装置により生成された高解像度画像を記録又は再生する電子機器に関する。

近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によりデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が、広く普及されつつある。そして、このような撮像装置や表示装置で処理されるデジタル画像において、異なる時間に撮影された複数のデジタル画像を用いて、その解像度を高解像度に変換する画像処理技術が提案されている。

この高解像度変換方法として、位置ズレのある複数の低解像度画像より１つの高解像度画像を推定する超解像処理が提案されている（非特許文献１参照）。そして、この超解像処理において、生成された高解像度画像を逆変換して、高解像度画像を構築するための元の低解像度画像を推定した後、実際の低解像度画像との比較を行うことで、更に、実際の値に近い高解像度画像を生成する再構成型と呼ばれる方式が提案されている。

この再構成型方式による超解像処理では、まず、複数の低解像度画像より取得される高解像度画像を仮定する（ＳＴＥＰ１）。この仮定した高解像度画像に基づいて、高解像度画像を構築するための複数の低解像度画像それぞれに逆変換して推定する（ＳＴＥＰ２）。そして、逆変換後の低解像度画像と元の低解像度画像とを比較した後（ＳＴＥＰ３）、その比較結果より、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値の差が小さくなるように、高解像度画像を生成する（ＳＴＥＰ４）。そして、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値（以下、「画素値」と呼ぶ）の差が収束するように、ＳＴＥＰ２〜ＳＴＥＰ４の処理を繰り返すことにより、最終的に取得される高解像度画像を実画像に近い画像とすることができる。

この再構成型方式として、ＭＬ（Maximum-Likelihood）法や、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection Onto Convex Set）法や、ＩＢＰ（Iterative Back Projection）法などが、提案されている。ＭＬ法では、高解像度画像から推定した低解像度画像（以下、「低解像度推定画像」と呼ぶ）の画素値と実際の低解像度画像（以下、「低解像度実画像」と呼ぶ）の画素値との二乗誤差を評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献２参照）。即ち、このＭＬ法による超解像処理は、最尤推定の原理に基づく処理方法である。

又、ＭＡＰ法では、低解像度推定画像と低解像度実画像それぞれの画素値の二乗誤差に高解像度画像の確率情報を付加したものを、評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献３，４参照）。即ち、ＭＡＰ法では、低解像度実画像に対する先見情報に基づく事後確率分布における出現確率を最大とするときの高解像度画像を推定することによって、最適な高解像度画像が取得される。

更に、ＰＯＣＳ法では、高解像度画像と低解像度画像のそれぞれの画素値に関する連立方程式を作成し、その連立方程式を逐次的に解くことにより、高解像度画像の画素値の最適値を取得して高解像度画像を生成する方法である（非特許文献５参照）。又、ＩＢＰ法では、撮影位置が異なるが被写体の画素位置に重なりをもつ複数の低解像度画像から高解像度を生成する方法、即ち、反復逆投影法を用いた超解像処理方法である（非特許文献６参照）。

このような超解像処理を用いて高解像度画像を取得する画像処理装置として、エッジの検出結果によって、高解像度画像の生成方法として、上述のような超解像処理による合成解像度化、及び、近接画素の画素値の複製や線形補間により補間を行う単純高解像度化のいずれかを選択できるものが提案されている（特許文献１参照）。更に、エッジ量に応じて、ノイズ除去を併用した単純高解像度化、エッジ強調処理を併用した単純高解像度化、及び合成解像度化のいずれかを選択して、高解像度画像の生成を行うものが提案されている（特許文献２参照）。
特開２００６−２０３７１６号公報 特開２００６−２２１２２１号公報 Sung, C. P. Min, K. P. Moon, G. K. 共著 "Super-resolution image reconstruction: a technical overview", (Signal processing Magazine, IEEE on Volume 26,Issue 3, May 2003, P.21-36) Tom, B.C. Katsaggelos, A.K. 共著 "Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images", (Image Processing, Proceedings, International Conference on Volume 2, Oct 1995, P.23-26) Schultz, R.R. Stevenson, R.L. 共著 "Extraction of high-resolution frames from video sequences" (Image Processing, IEEE Transactions on Volume 5, Issue 6, June 1996, P.996-1011) Hardie R.C. Barnard K.J. Armstrong E.E. 共著 "Joint MAP registration and high-resolution image estimation using a sequence of undersampled images" (Image Processing, IEEE Transactions on Volume 6, Issue 12, Dec. 1997 P.1621-1633) Stark, H. Oskoui, P. 共著 "High resolution image recovery from image-plane arrays, using convex projections" (J. Opt. Soc. Am. A, on vol. 6. P.1715-1726, 1989) Michel, I. Peleg, S. 共著 "Improving Resolution by Image Registration" (CVGIP: Graph Models Image Process, on vol. 53. P.231-239, Mar. 1991)

しかしながら、上述で説明した超解像処理は、高解像度画像から推定される低解像度画像（変換後の低解像度画像）と元の低解像度画像との差分が小さくなるように、上述したＳＴＥＰ２〜ＳＴＥＰ４の処理を反復させて繰り返す必要がある。このＳＴＥＰ２〜ＳＴＥＰ４の処理を繰り返す反復回数によって、取得される高解像度画像を実際の画像に近い高精度の画像とすることができる。しかしながら、実際の撮影において、特に動画撮影などでは、撮影動作にかかる時間に制限があるため、ＳＴＥＰ２〜ＳＴＥＰ４の処理を繰り返す反復回数にも制限がある。そのため、超解像処理によって得られた高解像度画像において、画像内のノイズが増大してしまうことなどにより、その精度が低くなり、超解像処理自体の性能が落ちてしまう。

又、特許文献１及び特許文献２においては、ノイズ低減を行うために、低解像度画像のエッジの検出を行うものとしているが、画像の空間的な処理のみで、ノイズにまぎれたエッジを検出することは困難である。更に、ノイズにまぎれたエッジをエッジ部分として検出されなかった場合は、精度の低い単純高解像度化（１枚の低解像度画像を用いた拡大処理）を行うこととなり、補間画素もノイズの影響を受けるため、高精細な画像が得られないことがある。

このような問題を鑑みて、本発明は、低解像度画像から高解像度画像を取得する際の反復処理の反復回数を少なくしたときに得られた高解像度画像上のノイズを低減する画像処理方法及び画像処理装置を提供することを目的とする。又、本発明は、低解像度画像から高解像度画像を取得する際の反復処理の反復回数を少なくしたときに得られた高解像度画像上のノイズを低減する画像処理装置を備えた電子機器を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、複数の低解像度実画像から高解像度画像を生成する高解像度化処理部と、該高解像度化処理部によって生成された前記高解像度画像に対して、複数の前記低解像度実画像それぞれと同等となる位置ズレ及び低解像度化によるボケ量を与える演算を行うことにより、複数の低解像度推定画像を生成する低解像度推定部と、を備える画像処理装置であって、前記低解像度実画像それぞれに対して、対応する前記低解像度推定画像との差分値に基づいて、前記低解像度実画像の各画素位置における低解像度更新量を算出する低解像度更新量算出部と、前記低解像度実画像それぞれについて、同一画素位置における前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれる画像成分を比較し、その比較結果に基づいて、前記低解像度更新量に乗算する重み係数を生成する重み係数算出部と、前記低解像度更新量に前記重み係数を乗算した後、その乗算結果に基づいて、前記高解像度画像の画素数に応じた前記高解像度更新量を算出する高解像度更新量算出部と、を備え、前記高解像度化処理部において、前回の処理で生成された前記高解像度画像に対して、前記高解像度更新量による更新を行うことで、前記高解像度画像を更新することを特徴とする。

このような画像処理装置において、前記重み係数算出部における、前記画像成分の比較結果が、前記低解像度実画像の画素値の前記画像成分を前記低解像度推定画像の画素値の前記画像成分で除算して得られる画像成分の比であり、当該画像成分の比が１以上の所定値に近い値となると、前記重み係数を１に近い値とし、当該画像成分の比が前記所定値より遠い値となると、前記重み係数を０に近い値とする。

又、前記重み係数算出部における、前記画像成分の比較結果が、前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれる高周波成分の比、前記低解像度実画像及び前記低解像度推定画像それぞれの画素値による標準偏差の比、前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれるエッジ方向成分の比のいずれであっても構わない。

本発明の電子機器は、外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、前記高解像度化機能を実現する画像処理部として、上述のいずれの画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化を行うことで、所望の前記高解像度画像が生成されることを特徴とする。

又、本発明の画像処理方法は、複数の低解像度実画像から高解像度画像を生成する高解像度化ステップと、該高解像度化ステップによって生成された前記高解像度画像に対して、複数の前記低解像度実画像それぞれと同等となる位置ズレ及び低解像度化によるボケ量を与える演算を行うことにより、複数の低解像度推定画像を生成する低解像度推定ステップと、を備える画像処理方法であって、前記低解像度実画像それぞれに対して、対応する前記低解像度推定画像との差分値に基づいて、前記低解像度実画像の各画素位置における低解像度更新量を算出する低解像度更新量算出ステップと、前記低解像度実画像それぞれについて、同一画素位置における前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれる画像成分を比較し、当該画像成分の比較結果に基づいて、前記低解像度更新量に乗算する重み係数を生成する重み係数算出ステップと、前記低解像度更新量に前記重み係数を乗算した後、その乗算結果に基づいて、前記高解像度画像の画素数に合わせた前記高解像度更新量を算出する高解像度更新量算出ステップと、を備え、前記高解像度化ステップにおいて、前回の処理で生成された前記高解像度画像に対して、前記高解像度更新量による更新を行うことで、前記高解像度画像を更新することを特徴とする。

本発明によると、低解像度実画像及び低解像度推定画像それぞれの画素値に含まれる画像成分を比較することで、更新量を調整する重み係数を設定することができる。即ち、低解像度実画像及び低解像度推定画像それぞれの画素値に含まれる画像成分の比較結果を用いているため、低解像度実画像のみで判定する場合と比べて、ノイズの含有された領域であるか否かの検出をより正確なものとすることができる。よって、得られた高解像度画像に含まれるノイズを低減して、より高精度で高精細な高解像度画像を生成することができる。

本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における画像処理方法を行う画像処理装置（以下では、「画像処理部」に相当する）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて、説明する。又、後述するが、同様の画像処理装置を備えるものであれば、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置であっても構わない。

（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。

図１の撮像装置は、被写体のから入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して超解像処理を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ１５に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、ユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。

この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、タイミングジェネレータ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号となる画像信号がデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。

又、この画像処理部４では、操作部１５によってデジタルズームにより、イメージセンサ１より得られた画像信号の高解像度化が求められると、イメージセンサ１からの複数フレーム分の画像信号に基づく超解像処理が施される。更に、この超解像処理が成された画像信号に基づいて、輝度信号及び色差信号が生成される。又、超解像処理が施されるために、後述するが、複数フレームの画像信号の動き量が算出され、その動き量に応じて各フレームの位置合わせが行われる。

そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。

尚、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ２０に記録されるだけとなり、その基本動作については動画撮影時の動作と同様である。又、この静止画像撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、イメージセンサ１によって撮影されている現時点の画像に対する圧縮信号も外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、イメージセンサ１によって撮影されている現時点の画像がディスプレイ部９に表示され、ユーザが確認することができる。

このように撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、映像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。又、静止画像撮影のときは、操作部１５によるシャッタ動作に基づいて、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、映像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。

又、外部メモリ２０に記録された動画又は画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。又、圧縮信号が画像信号のみより成るときは、ディスプレイ部９に画像のみが再生されることとなる。

（超解像処理の基本概念）
次に、上述の撮像装置内の画像処理部４において実行される超解像処理の基本概念について、簡単に説明する。尚、超解像処理の基本概念を説明するにあたって、その説明を簡単にするために、画像データを１次元方向に並んだ複数画素の画素値によるものとするとともに、異なる時間に撮像された２フレームの画像データによる超解像処理が成されるものとする。又、以下説明における画素値は、輝度値を示す。そして、図２（ａ）に、イメージセンサ１により撮像される被写体の輝度分布を示し、図２（ｂ）〜（ｄ）に、この被写体が異なる時間にイメージセンサ１により撮像された際の画像データ（低解像度実画像）を示す。又、図３に、図２における低解像度実画像により高解像度画像となる画像データを生成する際のフローチャートを示す。更に、図３では、各フローにおける信号の変遷を模式的に示す。

図２（ａ）に示す輝度分布の被写体に対して、時間Ｔ１にイメージセンサ１によって撮像されたときの第１フレームのサンプル点がＳ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳであり、時間Ｔ２（Ｔ１≠Ｔ２）にイメージセンサ１によって撮像されたときの第２フレームのサンプル点がＳ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳであるものとする。又、このとき、第１フレームのサンプル点Ｓ１と第２フレームのサンプル点Ｓ２は、手ブレなどが原因となり、その位置にズレが生じているものとする。

そして、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳは、被写体上のサンプル点を示し、図２（ｂ）に示す第１フレームとなる低解像度実画像Ｆａでは、このサンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３となる。又、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳは、被写体上のサンプル点を示し、図２（ｃ）に示す第２フレームとなる低解像度実画像Ｆｂでは、このサンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３となる。

これにより、第１フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３が図２（ｂ）のような関係となり、又、第２フレームとなる低解像度実画像Ｆｂの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３が図２（ｃ）のような関係となる。このように、図２（ｂ）による低解像度実画像Ｆａ及び図２（ｃ）による低解像度実画像Ｆｂそれぞれは、図中の被写体の位置を基準にすると、画素位置が（Ｓ１−Ｓ２）だけずれた状態の画像となる。そして、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）分だけ位置ズレ補正した場合）、低解像度実画像Ｆｂが図２（ｄ）のように表される。

そして、図３（ａ）に示すように、位置ズレを補正した図２（ｂ）及び図２（ｄ）のような低解像度実画像Ｆａ，Ｆｂを組み合わせることで、高解像度画像Ｆｘ１を推定する（ＳＴＥＰ３１）。このとき、以下の説明を簡単にするために、例えば、解像度を１次元方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素として、低解像度実画像Ｆａ，Ｆｂの画素Ｐ１，Ｐ２，Ｐ３に加えて更に、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５とが設定されるものとする。

低解像度実画像Ｆａが基準である注目フレームとされると、画素Ｐ１，Ｐ２，Ｐ３での画素値が、低解像度実画像Ｆａにおける画素値ｐａ１，ｐａ２，ｐａ３とされる。又、画素Ｐ４については、画素Ｐ４との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ１の画素位置からの距離の方が近いことより、画素値ｐｂ１とされるものとする。同様に、画素Ｐ５については、画素Ｐ５との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ２の画素位置からの距離の方が近いことより、画素値ｐｂ２とされるものとする。このように、画素Ｐ１〜Ｐ５の画素値をｐａ１，ｐａ２，ｐａ３，ｐｂ１，ｐｂ２と設定して得られた高解像度画像を、高解像度画像Ｆｘ１として推定されるものとしても構わない。

その後、ＳＴＥＰ３１で得られた高解像度画像Ｆｘ１に対して、ダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、図３（ｂ）のように、低解像度実画像Ｆａ，Ｆｂそれぞれに対する推定画像となる低解像度推定画像Ｆａ１，Ｆｂ１を生成する（ＳＴＥＰ３２）。尚、図３（ｂ）では、ｎ回目の処理によって推定された低解像度推定画像、即ち、高解像度画像Ｆｘｎより推定された低解像度実画像Ｆａ，Ｆｂに相当する低解像度推定画像Ｆａｎ，Ｆｂｎを示す。

即ち、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ１２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。

そして、図３（ｃ）に示すように、このようにして得られた低解像度推定画像Ｆａ１，Ｆｂ１それぞれと、低解像度実画像Ｆａ，Ｆｂそれぞれとの間における差分を求め、この差分を合成することで、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する（ＳＴＥＰ３３）。尚、図３（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎ、即ち、低解像度推定画像Ｆａｎ，Ｆｂｎと低解像度実画像Ｆａ，Ｆｂとによる差分画像ΔＦａｎ、ΔＦｂｎを合成することで得られた差分画像ΔＦｘｎを示す。

この図３（ｃ）の処理によって、低解像度推定画像Ｆａ１と低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）による差分画像ΔＦａ１、低解像度推定画像Ｆａ２と低解像度実画像Ｆｂにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）による差分画像ΔＦｂ１をそれぞれ求める。即ち、差分画像ΔＦａ１では、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）が画素値となり、差分画像ΔＦｂ１では、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）が画素値となる。

そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｆ１〜Ｆ５それぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成によって差分画像ΔＦｘ１を取得する際、例えば、ＭＬ法やＭＡＰ法では、二乗誤差を評価関数として用いる。即ち、ＭＬ法やＭＡＰ法の評価関数が、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値となる。よって、この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となるため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。

その後、図３（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、ＳＴＥＰ１で推定された高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図２（ａ）に示す輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される（ＳＴＥＰ３４）。尚、図３（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）、即ち、高解像度推定画像Ｆｘｎより差分画像ΔＦｘｎが減算されて得られた高解像度画像Ｆｘ（ｎ＋１）を示す。

そして、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理を繰り返すことによって、ＳＴＥＰ３３で得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が、図２（ａ）に示す輝度分布の被写体に近い画素値に収束される。尚、ｎ回目の処理におけるＳＴＥＰ３２及びＳＴＥＰ３４では、前回（ｎ−１回目）の処理におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ，Ｆｂｎ及び高解像度推定画像Ｆｘ（ｎ＋１）が取得される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束されたとき、前の処理（ｎ−１回目の処理）におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎを、目的の高解像度画像として超解像処理を終了する。

上述したフローを基本とする超解像処理として、［背景技術］で挙げたＭＬ法や、ＭＡＰ法や、ＰＯＣＳ法や、ＩＢＰ法などが、画像処理部４で利用される。尚、本実施形態では、ＭＡＰ法が利用される場合の超解像処理が用いられるものとする。このとき、ＳＴＥＰ３３において取得される高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎが、ＭＡＰ法における評価関数を勾配法によって微分した値を画素値とする勾配画像で構成されるものとする。

即ち、各画素位置での二乗誤差を画素値とする最小二乗法によって得られた差分画像ΔＦａｎ、ΔＦｂｎを合成した高解像度画像Ｆｘｎの差分画像に、事後確率分布により拘束される高解像度画像Ｆｘｎの高速画像を加えた後、勾配法によって微分を行うことで、ＳＴＥＰ３３における差分画像ΔＦｘｎに相当する勾配画像を取得する。そして、ＳＴＥＰ３４において、この勾配画像による差分画像ΔＦｘｎを高解像度画像Ｆｘｎより減算することで、高解像度画像Ｆｘ（ｎ＋１）を再構築する。

又、本実施形態では、ＳＴＥＰ３３で差分画像ΔＦｘｎを求める際、エッジ成分を多く含むエッジ領域と、エッジ成分の少ない平坦領域とが判断され、そのエッジ成分に応じた係数が領域毎に差分画像ΔＦｘｎに乗算される。即ち、エッジ領域では、求められた差分画像ΔＦｘｎが反映されるようにＳＴＥＰ３４での演算が成されるとともに、平坦領域では、求められた差分画像ΔＦｘｎの影響が小さくようにＳＴＥＰ３４での演算が成される。

（画像処理部の構成及び動作）
以下において、本実施形態の撮像装置の画像処理部４におけるＭＡＰ法による超解像処理の詳細について、その構成ととともに、図面を参照して説明する。図４は、画像処理部の構成を示すブロック図である。

図４に示すように、ＡＦＥ２でデジタル信号とされた１フレーム分の低解像度実画像となる画像信号を一時的に記憶するフレームメモリ４１と、フレームメモリ４１に記憶された１フレーム分の低解像度実画像を一時的に記憶するフレームメモリ４２と、ＡＦＥ２より入力される現フレームの低解像度実画像による画像信号とフレームメモリ４１に記憶された現フレームより１フレーム前の低解像度実画像による画像信号とが与えられて動き量を算出する動き量算出部４３と、動き量算出部４３で検出された動き量に基づいてフレームメモリ４１，４２に記憶された２フレームの低解像度実画像に対して超解像処理を行って高解像度画像を生成する超解像処理部４４と、超解像処理部４４で得られた高解像度画像を一時的に記憶して再び超解像処理部４４に与えるフレームメモリ４５と、超解像処理部４４で超解像処理が施された高解像度画像による画像信号又はＡＦＥ２から直接与えられた画像信号より輝度信号及び色差信号を生成する信号処理部４６と、を備える。

更に、超解像処理部４４は、フレームメモリ４１，４２に記憶された２フレーム分の低解像度実画像（図３（ａ）の低解像度実画像Ｆａ，Ｆｂに相当）より初期高解像度画像となる高解像度画像（図３（ａ）の高解像度画像Ｆｘ１に相当）を推定する初期高解像度推定部４４１と、初期高解像度推定部４４１で推定されて得られた高解像度画像とフレームメモリ４５に一時記憶された高解像度画像のいずれか１つを選択して後段に与える選択部４４２と、選択部４４２で選択された高解像度画像とフレームメモリ４１，４２に記憶された２フレーム分の低解像度実画像によって高解像画像の更新量（図３（ｄ）の差分画像ΔＦｘｎに相当）を求める高解像度更新量算出部４４３と、選択部４４２で選択された高解像度画像から高解像度更新量算出部４４３で得られた更新量を減算する減算部４４４と、を備える。尚、選択部４４２では、１回目の選択動作において、初期高解像度推定部４４１で推定された初期高解像度画像を選択し、２回目以降の選択動作において、フレームメモリ４５に一時記憶された高解像度画像を選択する。

（１）動き量検出部の動作
まず、動き量検出部４３の動作について簡単に説明する。この動き量検出部４３には、現フレームとなる低解像度実画像ＦａがＡＦＥ２から与えられるとともに、現フレームの１フレーム前の低解像度実画像Ｆｂがフレームメモリ４１から与えられて、位置ズレとなる動き量が検出される。この動き量の検出は、時間的に連続した２フレームの低解像度実画像Ｆａ，Ｆｂのうち、現フレームとなる低解像度実画像Ｆａを基準画像とし、もう一方の低解像度実画像Ｆｂを非基準画像として検出される。尚、本実施形態では、現フレームとなる低解像度実画像Ｆａを基準画像とするものとして説明するが、現フレームでないもう一方の低解像度実画像Ｆｂを基準画像としても構わない。

この動き量検出については、例えば、周知の代表点マッチング法によって、画像間における画素単位の動き量が検出され、その後、１画素内における動き量について、画素単位の位置ズレ補正された近隣画素の画素値の関係に基づいて検出されるものとしても構わない。以下に、代表点マッチング法と、１画素内における位置ズレ検出とについて、簡単に説明する。

（１−ａ）代表点マッチング法
基準画像及び非基準画像それぞれに対して、例えば、図５に示すように、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、更に、このｐ×ｑ領域の小領域ｅ群（例えば、６×８の小領域ｅ群）を１つの検出領域Ｅとして分割する。そして、基準画像では、各小領域ｅにおいて、図６（ａ）のように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定され、又、非基準画像では、各小領域ｅにおいて、図６（ｂ）のように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。

このように、小領域ｅ及び検出領域Ｅを設定すると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。

このようにして、各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられる累積相関値が最小となるサンプリング点Ｓが検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。

（１−ｂ）１画素内の動き量検出
上述のように、画素単位による動き量を検出すると、更に、１画素内における動き量が検出される。このとき、例えば、まず、図５に示す小領域ｅ毎に、基準画像の代表点Ｒとなる画素の画素値と、上述の代表点マッチング法によって得られた動き量によって代表点Ｒと相関性の高いサンプリング点Ｓｘとなる画素及び周辺画素それぞれの画素値との関係によって、１画素内における動き量を検出する。

即ち、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａ（図７（ａ）参照）と、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃ（図７（ｂ）参照）と、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄ（図７（ｂ）参照）との関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画素から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。

又、図８（ａ）のように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとし、図８（ｂ）のように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、図７（ａ）及び図７（ｂ）のような関係より、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。

このようにして、小領域ｅそれぞれにおける１画素内での動き量を求めると、求めた動き量を平均することで、この平均値を、基準画像Ｆａと非基準画像Ｆｂとの間の画素単位による動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像Ｆａと非基準画像Ｆｂとの間における動き量を算出することができる。

（２）超解像処理部の動作
次に、このように構成される超解像処理部４４の動作について、図３を参照して説明する。尚、低解像度実画像を含む低解像度画像の画素数をｕとし、初期高解像度画像を含む高解像度画像の画素数をｖとする。そして、ｕ画素による低解像度実画像Ｆａの各画素値がＹａ＝［ｙａ１，ｙａ２，…，ｙａｕ］となり、ｕ画素による低解像度実画像Ｆｂの各画素値がＹｂ＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］となる。画像処理部４における超解像処理が行われるとき、フレームメモリ４１，４２に記憶された２フレーム分の低解像度実画像Ｆａ，Ｆｂが初期高解像度推定部４４１に与えられる。

（２−ａ）初期高解像画像による処理
これにより、初期高解像度推定部４４１では、図３（ａ）に示すＳＴＥＰ３１のように、動き量算出部４３で得られた動き量に基づいて、２フレームの低解像度実画像Ｆａ，Ｆｂ間の位置ズレを検出する。そして、低解像度実画像Ｆａ，Ｆｂの各画素値Ｙａ，Ｙｂに対して、動き量により確認された位置ズレを利用した補間処理を施すことで、ｖ画素による初期高解像度画像Ｆｘ１を取得する。尚、高解像度画像Ｆｘ１〜Ｆｘｎそれぞれの各画素値を、Ｘ＝［ｘ１，ｘ２，…，ｘｖ］となるものとする。この初期高解像度推定部４４１で初期高解像度画像Ｆｘ１を生成する際、高解像度画像生成用のフィルタの一部にメディアンフィルタなどによるノイズ低減処理を行うフィルタを用いることや、高解像度画像生成用のフィルタのタップ数を広げることで、Ｓ／Ｎ比（信号／ノイズ比）を高くすることが好ましい。

このようにして初期高解像度推定部４４１から初期高解像度画像Ｆｘ１が出力されると、選択部４４２によって、この初期高解像度画像Ｆｘ１が選択されて、高解像度更新量算出部４４３に与えられる。この高解像度更新量算出部４４３では、動き量算出部４３で得られた動き量が与えられることで、動き量に基づいて、高解像実画像Ｆｘに対する低解像度実画像Ｆａ，Ｆｂそれぞれの位置ズレや低解像化によるぼけが算出される。この動き量より得られる位置ズレやぼけと、ｖ画素の高解像度画像Ｆｘｎからｕ画素の低解像度実画像Ｆａ，Ｆｂに相当する低解像度推定画像Ｆａｎ，Ｆｂｎへのダウンサンプリング量とを含むカメラパラメータ行列Ｗａ，Ｗｂが求められる。

そして、選択部４４２を通じて与えられた初期高解像度画像Ｆｘ１に対して、カメラパラメータ行列Ｗａ，Ｗｂが乗算されることで、図３（ｂ）に示すＳＴＥＰ３２のように、低解像度実画像Ｆａ，Ｆｂに擬似的に類似させた低解像度推定画像Ｆａ１（＝Ｗａ・Ｘ），Ｆｂ１（＝Ｗｂ・Ｘ）が推定される。又、この高解像度更新量算出部４４３は、フレームメモリ４１，４２に記憶された２フレーム分の低解像度実画像Ｆａ，Ｆｂが与えられることで、推定した低解像度推定画像Ｆａ１，Ｆｂ１と低解像度実画像Ｆａ，Ｆｂとの二乗誤差による差分｜Ｗａ・Ｘ−Ｙａ｜²、｜Ｗｂ・Ｘ−Ｙｂ｜²が求められる。

この低解像度推定画像Ｆａ１，Ｆｂ１と低解像度実画像Ｆａ，Ｆｂとの差分による評価関数Ｉが、それぞれの差分の加算値に、選択部４４２で選択された高解像度画像によって得られる拘束項が付加された形で求められる。即ち、求められる評価関数Ｉは、｜Ｗａ・Ｘ−Ｙａ｜²＋｜Ｗｂ・Ｘ−Ｙｂ｜²＋γ｜ＣＸ｜²となる。尚、この評価関数Ｉの拘束項γ｜ＣＸ｜²において、行列Ｃが、事前確率モデルに基づく行列であり、「高解像度画像には高域成分が少ない」という事前知識に基づき、例えば、ラプラシアンフィルタなどのハイパスフィルタによって構成される。又、係数γは、拘束項の評価関数Ｉにおける重みの強さを表すパラメータである。このようにして求められた評価関数Ｉに対して勾配法によって最小化を行うため、評価関数Ｉに対する勾配∂Ｉ／∂Ｘ（＝２×｛Ｗａ^T・（Ｗａ・Ｘ−Ｙａ）＋Ｗｂ^T・（Ｗｂ・Ｘ−Ｙｂ）＋γＣ^T・Ｃ・Ｘ｝）が求められる。尚、添え字である「Ｔ」は、転置行列を表す。

更に、このようにして、勾配∂I／∂Ｘが求められるとき、更に、低解像度実画像Ｆａ，Ｆｂ及び低解像度推定画像Ｆａ１，Ｆｂ１それぞれにおける画像成分を確認することで、低解像度実画像Ｆａ，Ｆｂそれぞれに対して、ノイズが多く含まれると推定される領域やエッジ部分の相関性が低い領域が確認される。例えば、低解像度実画像Ｆａ及び低解像度推定画像Ｆａ１それぞれの画像成分の相関を確認することで、低解像度実画像Ｆａにおける各領域での、ノイズが確認されやすい平坦部分と、誤ってノイズと検出されるエッジを含むエッジ部分との比率を検出する。同様に、低解像度実画像Ｆｂ及び低解像度推定画像Ｆｂ１それぞれの画像成分の相関を確認することで、低解像度実画像Ｆｂにおける平坦部分とエッジ部分とを検出する。

そして、低解像度実画像及び低解像度推定画像それぞれについて各領域で推定されるエッジ部分と平坦部分との成分比率に対する相関性（例えば、低解像度実画像及び低解像度推定画像それぞれの画像成分の相関）に応じて、勾配∂Ｉ／∂Ｘにおける、低解像度実画像と低解像度推定画像との間の二乗誤差による差分に与える重み係数ｋを設定する。このとき、エッジ部分と平坦部分との成分比率に対する相関性が低いものと推定される領域（低解像度実画像及び低解像度推定画像それぞれの画像成分の相関がない領域）については、重み係数ｋが０に近い値に設定される。逆に、エッジ部分と平坦部分との成分比率に対する相関性が高いものと推定される領域（低解像度実画像及び低解像度推定画像それぞれの画像成分の相関が大きい領域）については、重み係数ｋが１に近い値に設定される。

即ち、エッジ部分と平坦部分との成分比率に対する相関性が低いものと推定される領域については、勾配∂Ｉ／∂Ｘにおける、低解像度実画像と低解像度推定画像との間の二乗誤差による差分の影響が小さくなるように、重み係数ｋが設定される。この重み係数ｋは、低解像度実画像Ｆａ，Ｆｂそれぞれの各画素に対して設定される。又、重み係数ｋは、０≦ｋ≦１となる値であり、重み係数ｋが１に近い値となる場合、高解像度画像の更新時において、エッジ成分を含む差分（勾配∂Ｉ／∂Ｘ）の影響を大きく与える。更に、重み係数が０に近い値となる場合、高解像度画像の更新時において、ノイズが低減された初期高解像度画像の値をそのまま利用する。

よって、低解像度実画像Ｆａの画素値Ｙａ及び低解像度推定画像Ｆａ１の画素値Ｗａ・Ｘそれぞれの画像成分の関係から、低解像度実画像Ｆａに対する係数が、Ｋａ＝［ｋａ１，ｋａ２，…，ｋａｕ］として求められる。同様に、低解像度実画像Ｆｂの画素値Ｙｂ及び低解像度推定画像Ｆｂ１の画素値Ｗｂ・Ｘそれぞれの画像成分の関係から、低解像度実画像Ｆｂに対する係数が、Ｋｂ＝［ｋｂ１，ｋｂ２，…，ｋｂｕ］として求められる。

このようにして、低解像度実画像Ｆａ，Ｆｂに対して係数Ｋａ，Ｋｂを設定すると、高解像度更新量算出部４４３では、設定した係数を勾配∂Ｉ／∂Ｘにおける（Ｗａ・Ｘ−Ｙａ）、（Ｗｂ・Ｘ−Ｙｂ）に乗算することで、ノイズを考慮した勾配∂Ｊ／∂Ｘ（＝２×｛Ｗａ^T・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋Ｗｂ^T・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）＋γＣ^T・Ｃ・Ｘ｝）を高解像度画像の更新量として算出する。この更新量となる勾配∂Ｊ／∂Ｘを求めることで、高解像度更新量算出部４４３において、図３（ｃ）によって示すＳＴＥＰ３３における差分画像ΔＦｘ１が求められることとなる。

このようにして算出した勾配∂Ｊ／∂Ｘによる更新量が、高解像度更新量算出部４４３より減算部４４４に与えられると、減算部４４４では、図３（ｄ）におけるＳＴＥＰ３４のように、選択部４４２を介して初期高解像度推定部４４１より与えられる初期高解像度画像Ｆｘ１より、勾配∂Ｊ／∂Ｘによる更新量を減算する。この減算部４４４の減算結果により、ｖ画素の画素値それぞれが（Ｘ−∂Ｊ／∂Ｘ）となる高解像度画像Ｆｘ２が得られる。そして、この新たに得られた高解像度画像Ｆｘ２が減算部４４４より出力されて、フレームメモリ４５に与えられて、一時的に記憶される。

（２−ｂ）生成後の高解像画像による処理
上述のように、初期高解像度画像Ｆｘ１を取得して、高解像度画像の更新量を勾配∂Ｊ／∂Ｘとし、新たな高解像度画像Ｆｘ２を取得すると、選択部４４２は、フレームメモリ４５に格納された高解像度画像を選択して高解像度更新量算出部４４３に与える。即ち、ｎ（ｎ≧２の整数）回目の演算処理の場合、フレームメモリ４５に格納された高解像度画像Ｆｘｎが選択部４４２によって読み出されて、高解像度更新量算出部４４３に与えられる。

よって、高解像度更新量算出部４４３では、フレームメモリ４５に格納された高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ（＝Ｗａ・Ｘ），Ｆｂｎ（＝Ｗｂ・Ｘ）を推定する。そして、低解像度実画像Ｆａ，Ｆｂ及び低解像度推定画像Ｆａｎ，Ｆｂｎそれぞれにおける画像成分を確認することで、低解像度実画像Ｆａ，Ｆｂそれぞれに対して、ノイズが多く含まれると推定される領域が確認される。これにより、更新量となる勾配∂Ｊ／∂Ｘを求めるためのｎ回目の演算処理における、低解像度実画像Ｆａ，Ｆｂに対する係数Ｋａ，Ｋｂが算出される。

このようにして求められた低解像度推定画像Ｆａｎ，Ｆｂｎ及び係数Ｋａ，Ｋｂと、入力される低解像実画像Ｆａ，Ｆｂ及び高解像度画像Ｆｘｎとによって、更新量となる∂Ｊ／∂Ｘ（＝２×｛Ｗａ^T・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋Ｗｂ^T・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）＋γＣ^T・Ｃ・Ｘ｝）による差分画像ΔＦｘｎが、高解像度更新量算出部４４３で求められる。そして、減算部４４４において、高解像度更新量算出部４４３で求められた差分画像ΔＦｘｎが、選択部４４２を介してフレームメモリ４５から与えられる高解像度画像Ｆｘｎより減算されて、即ち、Ｘ−∂Ｊ／∂Ｘの演算が行われることで、新たに高解像度画像Ｆｘ（ｎ＋１）が得られる。

そして、超解像処理部４４において、高解像度更新量算出部４４３による演算処理回数をｎ回に設定している場合は、減算部４４４で新たに得られた高解像度画像Ｆｘ（ｎ＋１）を、減算部４４４から信号処理部４６に出力する。又、超解像処理部４４内において、高解像度更新量算出部４４３による演算処理回数をｎ＋１回以上に設定している場合は、高解像度画像Ｆｘ（ｎ＋１）をフレームメモリ４５に与えて一時記憶して、ｎ＋１回目の演算処理を行う。

このようにして、画像処理部４内の超解像処理部４４において超解像処理が成されることによって、撮像した２フレーム分の低解像度実画像から高解像度画像が得られる。尚、本実施形態では、連続した２フレーム分の低解像度実画像から高解像度画像を取得するものとしたが、複数フレームから最適な２フレームの低解像度実画像を選択し、選択した２フレームの低解像度実画像から高解像度画像を生成するものとしても構わない。又、２フレームに限らず、３フレーム以上の低解像度実画像によって高解像度画像を生成するものとしても構わない。このとき、高解像度画像生成に使用する低解像度実画像のフレーム数だけフレームメモリが必要となる。

又、超解像処理部４４内における高解像度更新量算出部４４３及び減算部４４４による演算処理の繰り返し回数については、動画撮影や静止画の連続撮影などのように、１フレームの撮影間隔が短い場合は、その回数が少なくなるように設定される。又、連続撮影以外の通常の静止画撮影の場合は、その回数が、動画撮影や静止画の連続撮影の場合よりも多くなるように設定されるものとしても構わない。

このように超解像処理部４４において、低解像度実画像における各領域で推定されるノイズとエッジの成分比率の相関性に応じた演算処理がなされることで、超解像処理により得られた高解像画像におけるノイズを低減することができる。この超解像処理部４４を備える画像処理部４が設けられた撮像装置について、超解像処理部４４における高解像度更新量算出部４４３の詳細な構成例について、以下の各実施例で説明する。又、以下の各実施例では、高解像度更新量算出部４４３の構成を説明するとともに、低解像度実画像における各領域のノイズとエッジの成分比率の相関性を推定するための演算処理の詳細について説明する。

まず、本実施例の撮像装置における超解像処理部４４の構成を、図９を参照して説明する。図９は、本実施例の撮像装置における超解像処理部の構成を示すブロック図である。図９に示すように、超解像処理部４４は、図４で示した構成と同様、初期高解像度推定部４４１と、選択部４４２と、高解像度更新量算出部４４３と、減算部４４４と、を備える。

そして、高解像度更新量算出部４４３が、動き量算出部４３で得られた動き量に基づいてカメラパラメータ行列Ｗａ，Ｗｂ，Ｗａ^T，Ｗｂ^Tを求めるパラメータ算出部５１〜５４と、選択部４４２で選択された高解像度画像Ｆｘｎに対してパラメータ算出部５１，５２それぞれからのカメラパラメータ行列Ｗａ，Ｗｂを乗算する乗算部５５，５６と、乗算部５５によって得られた低解像度推定画像Ｆａｎの画素値からフレームメモリ４１からの低解像度実画像Ｆａの画素値を減算する減算部５７と、乗算部５６によって得られた低解像度推定画像Ｆｂｎの画素値からフレームメモリ４２からの低解像度実画像Ｆｂの画素値を減算する減算部５８と、選択部４４２で選択された高解像度画像Ｆｘｎの高周波成分を通過させるハイパスフィルタ（ＨＰＦ）５９と、ＨＰＦ５９を通過した高解像度画像Ｆｘｎの高周波成分に対してパラメータ算出部５１，５２それぞれからのカメラパラメータ行列Ｗａ，Ｗｂを乗算する乗算部６０，６１と、フレームメモリ４１，４２それぞれからの低解像度実画像Ｆａ，Ｆｂの高周波成分を通過させるＨＰＦ６２，６３と、乗算部６０，６１からの低解像度推定画像Ｆａｎ，Ｆｂｎそれぞれの高周波成分とＨＰＦ６２，６３からの低解像度実画像Ｆａ，Ｆｂそれぞれの高周波成分との相関関係より係数Ｋａ，Ｋｂを設定する成分係数算出部６４，６５と、減算部５７，５８からの差分値に対して成分係数算出部６４，６５からの係数Ｋａ，Ｋｂを乗算する乗算部６６，６７と、乗算部６６，６７からの値に対してパラメータ算出部５３，５４それぞれからのカメラパラメータ行列Ｗａ^T，Ｗｂ^Tを乗算する乗算部６８，６９と、乗算部６８，６９で得られた二乗誤差による差分を加算する加算部７０と、ＨＰＦ５９を通過した高解像度画像Ｆｘｎの高周波成分から更に高周波成分を抽出して正規化するＨＰＦ７１と、ＨＰＦ７１を通過して得られた拘束項（正規化項）に対して重み係数γを乗算する乗算部７２と、乗算部７２で重み係数γが乗算された拘束項を加算部７０で得られた値に加算する加算部７３と、加算部７３での値を倍算して差分画像による各画素の値（更新量）を求める乗算部７４と、を備える。

このように構成される高解像度更新量算出部４４３では、乗算部５５，５６に及びＨＰＦ５９それぞれ対して、選択部４４２から初期高解像度設定部４４１又はフレームメモリ４５のいずれかからのｖ画素の高解像度画像Ｆｘｎによる画素値Ｘ（＝［ｘ１，ｘ２，…，ｘｖ］）が与えられる。又、フレームメモリ４１に格納されたｕ画素の低解像度実画像Ｆａによる画素値Ｙａ（＝［ｙａ１，ｙａ２，…，ｙａｕ］）が、減算部５７及びＨＰＦ６２に与えられ、フレームメモリ４２に格納されたｕ画素の低解像度実画像Ｆｂによる画素値Ｙｂ（＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］）が、減算部５８及びＨＰＦ６３に与えられる。更に、動き量算出部４３で得られた低解像度実画像Ｆａ，Ｆｂ間の動き量が、パラメータ算出部５１〜５４に与えられる。

そして、パラメータ算出部５１，５２それぞれでは、低解像度実画像Ｆａ，Ｆｂ間の動き量に基づいて、高解像度画像Ｆｘｎから低解像度推定画像Ｆａｎ，Ｆｂｎを推定するためのカメラパラメータ行列Ｗａ，Ｗｂを算出する。又、パラメータ算出部５３，５４それぞれでは、低解像度実画像Ｆａ，Ｆｂ間の動き量に基づいて、パラメータ算出部５１，５２それぞれで得られるカメラパラメータ行列Ｗａ，Ｗｂの転置行列となるカメラパラメータ行列Ｗａ^T，Ｗｂ^Tを算出する。

これにより、乗算部５５では、パラメータ算出部５１からのカメラパラメータ行列Ｗａが与えられて乗算するため、低解像度推定画像Ｆａｎの画素値Ｗａ・Ｘが得られるとともに、乗算部５６では、パラメータ算出部５２からのカメラパラメータ行列Ｗｂが与えられて乗算するため、低解像度推定画像Ｆｂｎの画素値Ｗｂ・Ｘが得られる。そして、減算部５７では、低解像度実画像Ｆａの画素値Ｙａと低解像推定画像Ｆａｎの画素値Ｗａ・Ｘとの間での減算が成されて、その差分値（Ｗａ・Ｘ−Ｙａ）が算出され、又、減算部５８では、低解像度実画像Ｆｂの画素値Ｙｂと低解像推定画像Ｆｂｎの画素値Ｗｂ・Ｘとの間での減算が成されて、その差分値（Ｗｂ・Ｘ−Ｙｂ）が算出される。

又、ラプラシアンフィルタなどにより成るＨＰＦ５９，６２，６３では、高解像度画像Ｆｘｎ及び低解像度実画像Ｆａ，Ｆｂそれぞれにおける高周波成分が抽出される。即ち、ＨＰＦ５９によって、ｖ画素の高解像度画像Ｆｘｎの高周波成分ＨＸ（＝［ｈｘ１，ｈｘ２，…，ｈｘｖ］）が抽出され、ＨＰＦ６２によって、ｕ画素の低解像度実画像Ｆａの高周波成分ＨＹａ（＝［ｈｙａ１，ｈｙａ２，…，ｈｙａｕ］）が抽出され、ＨＰＦ６３によって、ｕ画素の低解像度実画像Ｆｂの高周波成分ＨＹｂ（＝［ｈｙｂ１，ｈｙｂ２，…，ｈｙｂｕ］）が抽出される。

そして、ＨＰＦ５９で得られた高解像度画像Ｆｘｎの高周波成分ＨＸが乗算部６０，６１に与えられると、この高周波成分ＨＸが、乗算部６０においては、パラメータ算出部５１からのカメラパラメータ行列Ｗａによって乗算され、又、乗算部６１においては、パラメータ算出部５２からのカメラパラメータ行列Ｗｂによって乗算される。よって、乗算部６０での乗算により、ｕ画素の低解像度推定画像Ｆａｘの高周波成分Ｗａ・ＨＸ（＝［ｗｈｘａ１，ｗｈｘａ２，…，ｗｈｘａｕ］）が算出され、又、乗算部６１での乗算により、ｕ画素の低解像度推定画像Ｆｂｘの高周波成分Ｗｂ・ＨＸ（＝［ｗｈｘｂ１，ｗｈｘｂ２，…，ｗｈｘｂｕ］）が算出される。

このようにして得られた低解像度実画像Ｆａ及び低解像度推定画像Ｆａｘそれぞれの高周波成分ＨＹａ，Ｗａ・Ｈｘが、成分係数算出部６４に与えられるとともに、低解像度実画像Ｆｂ及び低解像度推定画像Ｆｂｘそれぞれの高周波成分ＨＹｂ，Ｗｂ・Ｈｘが、成分係数算出部６５に与えられる。まず、成分係数算出部６４では、低解像度実画像Ｆａ及び低解像度推定画像Ｆａｘそれぞれの同一画素位置における高周波成分の比率行列Ｒａ（＝［ｒａ１，ｒａ２，…，ｒａｕ］）が求められ、成分係数算出部６５では、低解像度実画像Ｆｂ及び低解像度推定画像Ｆｂｘそれぞれの同一画素位置における高周波成分の比率行列Ｒｂ（＝［ｒｂ１，ｒｂ２，…，ｒｂｕ］）が求められる。このとき、比率行列Ｒａにおける要素となる値ｒａｉが以下の（１）式で算出され、又、比率行列Ｒｂにおける要素となる値ｒｂｉが以下の（２）式で算出される。尚、（１）式及び（２）式におけるｉは、１≦ｉ≦ｕの整数である。

そして、成分係数算出部６４では、比率Ｒａを低解像度実画像Ｆａと低解像度推定画像Ｆａｎとの相関値として扱う。即ち、比率Ｒａにおける値ｒａｉが所定値ｔｈ１に近い値となるｉ番目の画素については、低解像度実画像Ｆａと低解像度推定画像Ｆａｎとの相関が強いものとし、エッジ部分の構成を多く含む領域の画素であることを確認する。よって、このｉ番目の画素に対する重み係数ｋａｉを１に近い値に決定する。逆に、比率Ｒａにおける値ｒａｉが所定値ｔｈ１から離れた値となるｐ番目の画素については、低解像度実画像Ｆａと低解像度推定画像Ｆａｎとの相関が弱いものとし、ノイズが確認されやすい平坦部分の構成を多く含む領域又はエッジ部分はあるが低解像度実画像と低解像度推定画像との間の相関がとれない領域の画素であることを確認する。よって、このｉ番目の画素に対する重み係数ｋａｉを０に近い値に決定する。このように、比率Ｒａにおける値ｒａｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋａｉの値が０に近づき、比率Ｒａにおける値ｒａｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋａｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆａに対する係数行列Ｋａ（＝［ｋａ１，ｋａ２，…，ｋａｕ］）が設定される。

同様に、成分係数算出部６５では、比率Ｒｂを低解像度実画像Ｆｂと低解像度推定画像Ｆｂｎとの相関値として扱い、比率Ｒｂにおける値ｒｂｉと所定値ｔｈ１との比較を行って、このｉ番目の画素に対する重み係数ｋｂｉの値を決定する。よって、比率Ｒｂにおける値ｒｂｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋｂｉの値が０に近づき、比率Ｒｂにおける値ｒｂｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋｂｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆｂに対する係数行列Ｋｂ（＝［ｋｂ１，ｋｂ２，…，ｋｂｕ］）が設定される。

尚、比率Ｒａ，Ｒｂにおける値ｒａｉ，ｒｂｉと、係数行列Ｋａ，Ｋｂにおける重み係数ｋａｉ，ｋｂｉとの間の関係については、図１０のように表される。尚、以下では、説明を簡単にするために、図１０に示すように、値ｒａｉ，ｒｂｉを共通のｒとし、重み係数ｋａｐ，ｋｂｐを共通のｋとする。即ち、上述の所定値ｔｈ１を１≦ｔｈ１としたとき、高周波成分の比率ｒと重み係数ｋの関係が以下のようになる。又、低解像度実画像と低解像度推定画像に同量のエッジ成分が含まれていた場合、低解像度推定画像はボケを有する画像となるため、分子部分に低解像度実画像の画像成分を備える比率Ｒａ，Ｒｂの値ｒａｉ，ｒｂｉが１以上となるため、所定値ｔｈ１を１≦ｔｈ１に設定する。

（１）０≦｜ｒ−ｔｈ１｜≦ｔ０（０≦ｔ０≦１−ｔｈ１）の場合
重み係数ｋの値が、ｋ＝１とされる。
（２）ｔ０＜｜ｒ−ｔｈ１｜≦ｔ１（ｔ０＜ｔ１）の場合
重み係数ｋの値が、ｋ＝ｔ０＋１−｜ｒ−ｔｈ１｜とされる。
（３）ｔ１＜｜ｒ−ｔｈ１｜の場合
重み係数ｋの値が、ｋ＝０とされる。

このようにして成分係数算出部６４で得られたｕ画素分の係数行列Ｋａが乗算部６６に与えられるとともに、パラメータ算出部５３で算出されたカメラパラメータ行列Ｗａ^Tが乗算部６８に与えられる。これにより、乗算部６６で、ｕ画素の行列となる値Ｋａ・（Ｗａ・Ｘ−Ｙａ）が算出され、乗算部６８で、ｖ画素の行列となる値Ｗａ^T・Ｋａ・（Ｗａ・Ｘ−Ｙａ）が算出される。同様に、成分係数算出部６５から係数行列Ｋｂが乗算部６７に与えられるとともに、パラメータ算出部５４からカメラパラメータ行列Ｗｂ^Tが乗算部６９に与えられるため、乗算部６７で、値Ｋｂ・（Ｗｂ・Ｘ−Ｙａ）が算出された後、乗算部６９で、値Ｗｂ^T・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）が算出される。

この乗算部６６〜６９による乗算が行われることにより、低解像度実画像Ｆａ，Ｆｂそれぞれにおいてノイズ含有率の大きい平坦部を多く含む領域における二乗誤差による微分値が、求められる更新量（勾配∂Ｊ／∂Ｘ）に与える影響を小さくすることができる。又、乗算部６７，６９より算出される低解像度実画像Ｆａ，Ｆｂそれぞれに対する二乗誤差による値Ｗａ^T・Ｋａ・（Ｗａ・Ｘ−Ｙａ），Ｗｂ^T・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）が加算部７０に与えられて加算されて、値｛Ｗａ^T・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋Ｗｂ^T・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）｝が求められる。

又、ＨＰＦ５９で得られた高解像度画像Ｆｘｎの高周波成分ＨＸがＨＰＦ７１にも与えられることで、正規化項となる拘束項Ｃ^T・Ｃ・Ｘが算出される。そして、乗算部７２において、この拘束項Ｃ^T・Ｃ・Ｘに対して重み係数γが乗算されることで、値γＣ^T・Ｃ・Ｘが得られると、この拘束項の値γＣ^T・Ｃ・Ｘが加算部７３に与えられる。よって、加算部７３では、加算部７０からの値と乗算部７２からの値とを加算することで、値｛Ｗａ^T・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋Ｗｂ^T・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）＋γＣ^T・Ｃ・Ｘ｝が算出され、更に、乗算部７４で倍算されることで、減算部４４４に与える更新量∂Ｊ／∂Ｘ（＝２｛Ｗａ^T・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋Ｗｂ^T・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）＋γＣ^T・Ｃ・Ｘ｝）が得られる。

このように、本実施例においては、ＨＰＦを利用して、低解像度実画像及び低解像度推定画像それぞれの高周波成分を抽出し、この高周波成分の比率によって、低解像度実画像内のエッジ部分と平坦部分との比率の検出を行うことができる。そして、それぞれの画像における高周波成分の頻度が同等となる部分をエッジ部分とすることで、ノイズと判定される成分を含むか又はエッジ部分の相関性が低いと推定される領域の画素に対する更新量を抑制し、超解像処理により得られる高解像度画像のノイズを抑制することができる。

まず、本実施例の撮像装置における超解像処理部４４の構成を、図１１を参照して説明する。図１１は、本実施例の撮像装置における超解像処理部の構成を示すブロック図である。尚、図１１の構成において、図９の構成と同一の目的で使用する部分については、同一の符号を付してその詳細な説明は省略する。又、本実施例では、実施例１と異なり、係数行列Ｋａ，Ｋｂを算出するために、低解像度実画像と低解像度推定画像の相関関係を確認する際に利用する画像成分として、標準偏差を用いる。よって、以下では、標準偏差による低解像度実画像と低解像度推定画像の相関関係に基づく、係数行列Ｋａ，Ｋｂの算出動作について、詳細に説明する。

図１１に示すように、本実施例の撮像装置の超解像処理部４４における高解像度更新量算出部４４３は、図９の構成におけるＨＰＦ６２，６３の代わりに、選択部４４２からの高解像実画像Ｆｘｎの標準偏差を算出して乗算部６０，６１に与える標準偏差算出部７５と、フレームメモリ４１，４２からの低解像度実画像Ｆａ，Ｆｂそれぞれの標準偏差を算出して成分係数算出部６４，６５それぞれに与える標準偏差算出部７６，７７と、を備える。尚、図９の構成と異なり、ＨＰＦ５９で得られた高解像度画像Ｆｘｎの高域成分については、ＨＰＦ７１にのみ与えられる。

このように構成される高解像度更新量算出部４４３における低解像度実画像Ｆａ，Ｆｂと低解像度推定画像Ｆａｎ，Ｆｂｎそれぞれの標準偏差の相関値によって、係数行列Ｋａ，Ｋｂを算出する際の動作について、以下に説明する。即ち、標準偏差算出部７５〜７７、乗算部６０，６１、及び、成分係数算出部６４，６５における動作の詳細について、図面を参照して説明する。尚、その他の構成部分については、実施例１の構成のものと同様であるので、説明を省略する。

標準偏差算出部７５〜７７では、標準偏差を求めるための注目画素と、この注目画素の周囲に近接する複数の周辺画素とによる複数の画素の画素値を用いることによって、画像内の各画素の標準偏差を求める。即ち、例えば、３×３の行列配置された９画素が用いられる場合、図１２に示すように、注目画素Ｇ00に対する標準偏差σを求めるとき、注目画素Ｇ00を中央に配置した３×３の行列配置された画素Ｇ(-1)(-1)〜Ｇ11の画素値ｚ(-1)(-1)〜ｚ11に対して以下の（３）式による演算処理が施される。尚、（３）式において、画素Ｇｉｊの画素値がｚｉｊであり、画素Ｇ(-1)(-1)〜Ｇ11の画素値の平均がｚである。

よって、標準偏差算出部７５では、ｖ画素の高解像度画像Ｆｘｎにおける各画素の画素値Ｘ（＝［ｘ１，ｘ２，…，ｘｖ］）に対して上述の演算処理が成されることで、ｖ画素の各画素に対する標準偏差ＳＸ（＝［ｓｘ１，ｓｘ２，…，ｓｘｖ］）が算出される。そして、この標準偏差ＳＸが乗算部６０，６１に与えられることにより、乗算部６０での演算結果が、低解像度推定画像Ｆａｎの標準偏差Ｗａ・ＳＸ（＝［ｗｓｘａ１，ｗｓｘａ２，…，ｗｓｘａｕ］）として、乗算部６１での演算結果が、低解像度推定画像Ｆｂｎの標準偏差Ｗｂ・ＳＸ（＝［ｗｓｘｂ１，ｗｓｘｂ２，…，ｗｓｘｂｕ］）として、それぞれ得られる。算出された低解像度推定画像Ｆａｎの標準偏差Ｗａ・ＳＸが、成分係数算出部６４に与えられるとともに、算出された低解像度推定画像Ｆｂｎの標準偏差Ｗｂ・ＳＸが、成分係数算出部６５に与えられる。

又、標準偏差算出部７６では、ｕ画素の低解像度実画像Ｆａにおける各画素の画素値Ｙａ（＝［ｙａ１，ｙａ２，…，ｙａｕ］）に対して上述の演算処理が成されることで、ｕ画素の各画素に対する標準偏差ＳＹａ（＝［ｓｙａ１，ｓｙａ２，…，ｓｙａｕ］）が算出される。同様に、標準偏差算出部７７では、ｕ画素の低解像度実画像Ｆｂにおける各画素の画素値Ｙｂ（＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］）に対して上述の演算処理が成されることで、ｕ画素の各画素に対する標準偏差ＳＹｂ（＝［ｓｙｂ１，ｓｙｂ２，…，ｓｙｂｕ］）が算出される。そして、算出された低解像度実画像Ｆａの標準偏差ＳＹａが、成分係数算出部６４に与えられるとともに、算出された低解像度実画像Ｆｂの標準偏差ＳＹｂが、成分係数算出部６５に与えられる。

このようにして得られた低解像度実画像Ｆａ及び低解像度推定画像Ｆａｘそれぞれの標準偏差ＳＹａ，Ｗａ・Ｓｘが、成分係数算出部６４に与えられるとともに、低解像度実画像Ｆｂ及び低解像度推定画像Ｆｂｘそれぞれの標準偏差ＳＹｂ，Ｗｂ・Ｓｘが、成分係数算出部６５に与えられる。まず、成分係数算出部６４では、低解像度実画像Ｆａ及び低解像度推定画像Ｆａｘそれぞれの同一画素位置における標準偏差の比率行列Ｅａ（＝［ｅａ１，ｅａ２，…，ｅａｕ］）が求められ、成分係数算出部６５では、低解像度実画像Ｆｂ及び低解像度推定画像Ｆｂｘそれぞれの同一画素位置における標準偏差の比率行列Ｅｂ（＝［ｅｂ１，ｅｂ２，…，ｅｂｕ］）が求められる。このとき、比率行列Ｅａにおける要素となる値ｅａｉが以下の（４）式で算出され、又、比率行列Ｅｂにおける要素となる値ｅｂｉが以下の（５）式で算出される。尚、（４）式及び（５）式におけるｉは、１≦ｉ≦ｕの整数である。

そして、成分係数算出部６４では、実施例１の比率Ｒａと同様、比率Ｅａを低解像度実画像Ｆａと低解像度推定画像Ｆａｎとの相関値として扱う。即ち、比率Ｅａにおける値ｅａｉと所定値ｔｈ１との比較を行って、このｉ番目の画素に対する重み係数ｋａｉの値を決定する。よって、比率Ｅａにおける値ｅａｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋａｉの値が０に近づき、比率Ｅｂにおける値ｅａｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋａｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆａに対する係数行列Ｋａ（＝［ｋａ１，ｋａ２，…，ｋａｕ］）が設定される。

同様に、成分係数算出部６５では、比率Ｅｂを低解像度実画像Ｆｂと低解像度推定画像Ｆｂｎとの相関値として扱い、比率Ｅｂにおける値ｅｂｉと所定値ｔｈ１との比較を行って、このｉ番目の画素に対する重み係数ｋｂｉの値を決定する。よって、比率Ｅｂにおける値ｅｂｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋｂｉの値が０に近づき、比率Ｅｂにおける値ｅｂｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋｂｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆｂに対する係数行列Ｋｂ（＝［ｋｂ１，ｋｂ２，…，ｋｂｕ］）が設定される。

尚、比率Ｅａ，Ｅｂにおける値ｅａｉ，ｅｂｉと、係数行列Ｋａ，Ｋｂにおける重み係数ｋａｉ，ｋｂｉとの間の関係については、図１３のように表される。尚、以下では、説明を簡単にするために、図１３に示すように、値ｅａｉ，ｅｂｉを共通のｅとし、重み係数ｋａｉ，ｋｂｉを共通のｋとする。即ち、上述の所定値ｔｈ１を１≦ｔｈ１（実施例１と同様の理由により、所定値ｔｈ１を１≦ｔｈ１に設定する。）としたとき、高周波成分の比率ｒと重み係数ｋの関係と同様、標準偏差の比率ｅと重み係数ｋの関係が以下のようになる。

（１）０≦｜ｅ−ｔｈ１｜≦ｔ０（０≦ｔ０≦１−ｔｈ１）の場合
重み係数ｋの値が、ｋ＝１とされる。
（２）ｔ０＜｜ｅ−ｔｈ１｜≦ｔ１（ｔ０＜ｔ１）の場合
重み係数ｋの値が、ｋ＝ｔ０＋１−｜ｅ−ｔｈ１｜とされる。
（３）ｔ１＜｜ｅ−ｔｈ１｜の場合
重み係数ｋの値が、ｋ＝０とされる。

このようにして成分係数算出部６４で得られた係数行列Ｋａが乗算部６６に与えられるとともに、成分係数算出部６５で得られた係数行列Ｋｂが乗算部６７に与えられる。これにより、実施例１と同一のブロックが同一の演算処理を行うことで、減算部４４４に与える更新量∂Ｊ／∂Ｘ（＝２｛Ｗａ^T・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋Ｗｂ^T・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）＋γＣ^T・Ｃ・Ｘ｝）が得られる。

本実施例では、低解像度実画像及び低解像度推定画像それぞれに対して算出した標準偏差の比率によって、低解像度実画像内のエッジ部分と平坦部分との比率の検出を行う。そして、それぞれの画像における標準偏差が同等となる部分をエッジ部分とすることで、ノイズと判定される成分を含むか又はエッジ部分の相関性が低いと推定される領域の画素に対する更新量を抑制し、超解像処理により得られる高解像度画像のノイズを抑制することができる。

まず、本実施例の撮像装置における超解像処理部４４の構成を、図１４を参照して説明する。図１４は、本実施例の撮像装置における超解像処理部の構成を示すブロック図である。尚、図１４の構成において、図９の構成と同一の目的で使用する部分については、同一の符号を付してその詳細な説明は省略する。又、本実施例では、実施例１及び実施例２と異なり、係数行列Ｋａ，Ｋｂを算出するために、低解像度実画像と低解像度推定画像の相関関係を確認する際に利用する画像成分として、エッジ方向成分を用いる。よって、以下では、エッジ方向成分による低解像度実画像と低解像度推定画像の相関関係に基づく、係数行列Ｋａ，Ｋｂの算出動作について、詳細に説明する。

図１４に示すように、本実施例の撮像装置の超解像処理部４４における高解像度更新量算出部４４３は、図９の構成におけるＨＰＦ６２，６３の代わりに、選択部４４２からの高解像実画像Ｆｘｎの水平方向のエッジ方向成分を算出する水平エッジ方向フィルタ７８と、選択部４４２からの高解像実画像Ｆｘｎの垂直方向のエッジ方向成分を算出する垂直エッジ方向フィルタ７９と、フレームメモリ４１，４２からの低解像度実画像Ｆａ，Ｆｂそれぞれの水平方向のエッジ方向成分を算出して成分係数算出部６４，６５それぞれに与える水平エッジ方向フィルタ８０，８１と、フレームメモリ４１，４２からの低解像度実画像Ｆａ，Ｆｂそれぞれの垂直方向のエッジ方向成分を算出して成分係数算出部６４，６５それぞれに与える垂直エッジ方向フィルタ８２，８３と、を備える。

又、乗算部６０，６１の代わりに、水平エッジ方向フィルタ７８からの水平方向のエッジ方向成分にカメラパラメータ行列Ｗａ，Ｗｂそれぞれを乗算して係数算出部６４，６５それぞれに与える乗算部６０ｘ，６１ｘを備えるとともに、垂直エッジ方向フィルタ７８からの垂直方向のエッジ方向成分にカメラパラメータ行列Ｗａ，Ｗｂそれぞれを乗算して係数算出部６４，６５それぞれに与える乗算部６０ｙ，６１ｙを備える。尚、図９の構成と異なり、ＨＰＦ５９で得られた高解像度画像Ｆｘｎの高域成分については、ＨＰＦ７１にのみ与えられる。

このように構成される高解像度更新量算出部４４３における低解像度実画像Ｆａ，Ｆｂと低解像度推定画像Ｆａｎ，Ｆｂｎそれぞれのエッジ方向の相関値によって、係数行列Ｋａ，Ｋｂを算出する際の動作について、以下に説明する。即ち、水平エッジ方向フィルタ７８，８０，８２、垂直エッジ方向フィルタ７９，８１，８３、乗算部６０ｘ，６０ｙ，６１ｘ，６１ｙ、及び、成分係数算出部６４，６５における動作の詳細について、図面を参照して説明する。尚、その他の構成部分については、実施例１の構成のものと同様であるので、説明を省略する。

水平エッジ方向フィルタ７８，８０，８２及び垂直エッジ方向フィルタ７９，８１，８３では、水平方向及び垂直方向となるエッジ方向成分を求めるための注目画素と、この注目画素の周囲に近接する複数の周辺画素とによる複数の画素の画素値を用いることによって、画像内の各画素の水平方向及び垂直方向となるエッジ方向成分を求める。以下では、例えば、図１５（ａ）に示す３×３の行列配置された９画素Ｇ(-1)(-1)〜Ｇ11の画素値ｚ(-1)(-1)〜ｚ11が用いられることで、水平方向及び垂直方向となるエッジ方向成分が算出されるものとして説明する。このとき、注目画素Ｇ00に対するエッジ方向成分を求められる。

水平エッジ方向フィルタ７８，８０，８２では、図１５（ｂ）に示すフィルタによって、注目画素Ｇ00に対して垂直方向で上側に配置される画素Ｇ(-1)(-1)，Ｇ0(-1)，Ｇ1(-1)の画素値ｚ(-1)(-1)，ｚ0(-1)，ｚ1(-1)に対して、「−１」を乗算し、注目画素Ｇ00に対して垂直方向で下側に配置される画素Ｇ(-1)1，Ｇ01，Ｇ11の画素値ｚ(-1)1，ｚ01，ｚ11に対して、「１」を乗算し、注目画素Ｇ00に対して垂直方向で同一位置に配置される画素Ｇ(-1)0，Ｇ00，Ｇ10の画素値ｚ(-1)0，ｚ00，ｚ10に対して、「０」を乗算することで得られた値が、水平方向のエッジ成分ｈとされる。即ち、この水平方向のエッジ成分ｈは、（６）式によって算出される。

垂直エッジ方向フィルタ７９，８１，８３では、図１５（ｃ）に示すフィルタによって、注目画素Ｇ00に対して水平方向で左側に配置される画素Ｇ(-1)(-1)，Ｇ(-1)0，Ｇ(-1)1の画素値ｚ(-1)(-1)，ｚ(-1)0，ｚ(-1)1に対して、「−１」を乗算し、注目画素Ｇ00に対して水平方向で右側に配置される画素Ｇ1(-1)，Ｇ10，Ｇ11の画素値ｚ1(-1)，ｚ10，ｚ11に対して、「１」を乗算し、注目画素Ｇ00に対して水平方向で同一位置に配置される画素Ｇ0(-1)，Ｇ00，Ｇ01の画素値ｚ0(-1)，ｚ00，ｚ01に対して、「０」を乗算することで得られた値が、垂直方向のエッジ成分ｐとされる。即ち、この垂直方向のエッジ成分ｐは、（７）式によって算出される。

よって、水平エッジ方向フィルタ７８では、ｖ画素の高解像度画像Ｆｘｎにおける各画素の画素値Ｘ（＝［ｘ１，ｘ２，…，ｘｖ］）に対して上述の演算処理が成されることで、ｖ画素の各画素に対する水平方向のエッジ方向成分ＯｈＸ（＝［ｏｈｘ１，ｏｈｘ２，…，ｏｈｘｖ］）が算出される。そして、このエッジ方向成分ＯｈＸが乗算部６０ｘ，６１ｘに与えられることにより、乗算部６０ｘでの演算結果が、低解像度推定画像Ｆａｎの水平方向のエッジ方向成分Ｗａ・ＯｈＸ（＝［ｗｏｈｘａ１，ｗｏｈｘａ２，…，ｗｏｈｘａｕ］）として、乗算部６１ｘでの演算結果が、低解像度推定画像Ｆｂｎの水平方向のエッジ方向成分Ｗｂ・ＯｈＸ（＝［ｗｏｈｘｂ１，ｗｏｈｘｂ２，…，ｗｏｈｘｂｕ］）として、それぞれ得られる。

又、垂直エッジ方向フィルタ７９では、同様に、高解像度画像Ｆｘｎにおける各画素の画素値Ｘに対して上述の演算処理が成されることで、ｖ画素の各画素に対する垂直方向のエッジ方向成分ＯｐＸ（＝［ｏｐｘ１，ｏｐｘ２，…，ｏｐｘｖ］）が算出される。そして、このエッジ方向成分ＯｐＸが乗算部６０ｙ，６１ｙに与えられることにより、乗算部６０ｙでの演算結果が、低解像度推定画像Ｆａｎの垂直方向のエッジ方向成分Ｗａ・ＯｐＸ（＝［ｗｏｐｘａ１，ｗｏｐｘａ２，…，ｗｏｐｘａｕ］）として、乗算部６１ｙでの演算結果が、低解像度推定画像Ｆｂｎの垂直方向のエッジ方向成分Ｗｂ・ＯｐＸ（＝［ｗｏｐｘｂ１，ｗｏｐｘｂ２，…，ｗｏｐｘｂｕ］）として、それぞれ得られる。

このようにして水平方向及び垂直方向のエッジ方向成分が算出されると、低解像度推定画像Ｆａｎの水平方向のエッジ方向成分Ｗａ・ＯｈＸと、垂直方向のエッジ方向成分Ｗａ・ＯｐＸが、成分係数算出部６４に与えられる。又、低解像度推定画像Ｆｂｎの水平方向のエッジ方向成分Ｗｂ・ＯｈＸと、垂直方向のエッジ方向成分Ｗｂ・ＯｐＸが、成分係数算出部６５に与えられる。

又、ｕ画素の低解像度実画像Ｆａにおける各画素の画素値Ｙａ（＝［ｙａ１，ｙａ２，…，ｙａｕ］）に対して上述の演算処理が成されることで、水平エッジ方向フィルタ８０によって、ｕ画素の各画素に対する水平方向のエッジ方向成分ＯｈＹａ（＝［ｏｈｙａ１，ｏｈｙａ２，…，ｏｈｙａｕ］）が算出され、垂直エッジ方向フィルタ８２によって、ｕ画素の各画素に対する垂直方向のエッジ方向成分ＯｐＹａ（＝［ｏｐｙａ１，ｏｐｙａ２，…，ｏｐｙａｕ］）が算出される。このようにして水平方向及び垂直方向のエッジ方向成分が算出されると、低解像度実画像Ｆａの水平方向のエッジ方向成分ＯｈＹａと、垂直方向のエッジ方向成分ＯｐＹａが、成分係数算出部６４に与えられる。

同様に、ｕ画素の低解像度実画像Ｆｂにおける各画素の画素値Ｙｂ（＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］）に対して上述の演算処理が成されることで、水平エッジ方向フィルタ８１によって、ｕ画素の各画素に対する水平方向のエッジ方向成分ＯｈＹｂ（＝［ｏｈｙｂ１，ｏｈｙｂ２，…，ｏｈｙｂｕ］）が算出され、垂直エッジ方向フィルタ８３によって、ｕ画素の各画素に対する垂直方向のエッジ方向成分ＯｐＹｂ（＝［ｏｐｙｂ１，ｏｐｙｂ２，…，ｏｐｙｂｕ］）が算出される。このようにして水平方向及び垂直方向のエッジ方向成分が算出されると、低解像度実画像Ｆｂの水平方向のエッジ方向成分ＯｈＹｂと、垂直方向のエッジ方向成分ＯｐＹｂが、成分係数算出部６５に与えられる。

そして、まず、成分係数算出部６４では、低解像度実画像Ｆａ及び低解像度推定画像Ｆａｘそれぞれの同一画素位置における水平方向及び垂直方向それぞれのエッジ成分Ｗａ・ＯｈＸ，Ｗａ・ＯｐＸ，ＯｈＹａ，ＯｐＹａによって、エッジ成分の比率行列Ｄａ（＝［ｄａ１，ｄａ２，…，ｄａｕ］）が求められ、成分係数算出部６５では、低解像度実画像Ｆｂ及び低解像度推定画像Ｆｂｘそれぞれの同一画素位置における水平方向及び垂直方向それぞれのエッジ成分Ｗｂ・ＯｈＸ，Ｗｂ・ＯｐＸ，ＯｈＹｂ，ＯｐＹｂによって、エッジ成分の比率行列Ｄｂ（＝［ｄｂ１，ｄｂ２，…，ｄｂｕ］）が求められる。このとき、比率行列Ｄａにおける要素となる値ｄａｉが以下の（８）式で算出され、又、比率行列Ｄｂにおける要素となる値ｄｂｉが以下の（９）式で算出される。尚、（８）式及び（９）式におけるｉは、１≦ｉ≦ｕの整数である。

そして、成分係数算出部６４では、実施例１の比率Ｒａと同様、比率Ｄａを低解像度実画像Ｆａと低解像度推定画像Ｆａｎとの相関値として扱う。即ち、比率Ｄａにおける値ｄａｉと所定値ｔｈ１との比較を行って、このｉ番目の画素に対する重み係数ｋａｉの値を決定する。よって、比率Ｄａにおける値ｄａｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋａｉの値が０に近づき、比率Ｄｂにおける値ｄａｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋａｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆａに対する係数行列Ｋａ（＝［ｋａ１，ｋａ２，…，ｋａｕ］）が設定される。

同様に、成分係数算出部６５では、比率Ｄｂを低解像度実画像Ｆｂと低解像度推定画像Ｆｂｎとの相関値として扱い、比率Ｄｂにおける値ｄｂｉと所定値ｔｈ１との比較を行って、このｉ番目の画素に対する重み係数ｋｂｉの値を決定する。よって、比率Ｄｂにおける値ｄｂｉと所定値ｔｈ１との差の大きさが大きいものほど、重み係数ｋｂｉの値が０に近づき、比率Ｄｂにおける値ｄｂｉと所定値ｔｈ１との差の大きさが小さいものほど、重み係数ｋｂｉの値が１に近づくように、ｕ画素の低解像度実画像Ｆｂに対する係数行列Ｋｂ（＝［ｋｂ１，ｋｂ２，…，ｋｂｕ］）が設定される。

尚、比率Ｄａ，Ｄｂにおける値ｄａｉ，ｄｂｉと、係数行列Ｋａ，Ｋｂにおける重み係数ｋａｉ，ｋｂｉとの間の関係については、図１６のように表される。尚、以下では、説明を簡単にするために、図１６に示すように、値ｄａｉ，ｄｂｉを共通のｄとし、重み係数ｋａｉ，ｋｂｉを共通のｋとする。即ち、上述の所定値ｔｈ１を１≦ｔｈ１（実施例１と同様の理由により、所定値ｔｈ１を１≦ｔｈ１に設定する。）としたとき、高周波成分の比率ｒと重み係数ｋの関係と同様、エッジ方向成分の比率ｄと重み係数ｋの関係が以下のようになる。

（１）０≦｜ｄ−ｔｈ１｜≦ｔ０（０≦ｔ０≦１−ｔｈ１）の場合
重み係数ｋの値が、ｋ＝１とされる。
（２）ｔ０＜｜ｄ−ｔｈ１｜≦ｔ１（ｔ０＜ｔ１）の場合
重み係数ｋの値が、ｋ＝ｔ０＋１−｜ｄ−ｔｈ１｜とされる。
（３）ｔ１＜｜ｄ−ｔｈ１｜の場合
重み係数ｋの値が、ｋ＝０とされる。

このようにして成分係数算出部６４で得られた係数行列Ｋａが乗算部６６に与えられるとともに、成分係数算出部６５で得られた係数行列Ｋｂが乗算部６７に与えられる。これにより、実施例１と同一のブロックが同一の演算処理を行うことで、減算部４４４に与える更新量∂Ｊ／∂Ｘ（＝２｛Ｗａ^T・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋Ｗｂ^T・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）＋γＣ^T・Ｃ・Ｘ｝）が得られる。

本実施例では、低解像度実画像及び低解像度推定画像それぞれに対して算出したエッジ方向成分の比率によって、低解像度実画像内のエッジ部分と平坦部分との比率の検出を行う。そして、それぞれの画像におけるエッジ方向成分の値が同等となる部分をエッジ部分とすることで、ノイズと判定される成分を含むか又はエッジ部分の相関性が低いと推定される領域の画素に対する更新量を抑制し、超解像処理により得られる高解像度画像のノイズを抑制することができる。

尚、本実施例において、検出するエッジ方向成分を水平方向及び垂直方向を例に挙げて説明したが、水平方向及び垂直方向に限らず、別の方向のエッジ方向成分も検出するものとしても構わない。更に、水平方向及び垂直方向を含む異なる方向のエッジ方向成分を複数検出することで、エッジ部分と平坦部分との比率の検出をより正確に行うことができる。

又、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図１７に、本発明における画像処理方法を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。

図１７に示す表示装置は、図１に示す撮像装置と同様、画像処理部４、伸長処理部８、ディスプレイ部９、音声出力回路部１０、スピーカ部１１、タイミングジェネレータ１２、ＣＰＵ１３、メモリ１４、操作部１５、及び、バス回線１６，１７を備える。そして、外部で受信した放送信号を選局するチューナ部２１と、チューナ部２１で選局した放送信号を復調する復調部２２と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース２３とを、更に備える。

この図１７の表示装置は、放送信号を受信する場合は、チューナ部２１で所望のチャンネルの放送信号を選局した後、復調部２２で放送信号を復調することで、ＭＰＥＧ圧縮符号方式による圧縮信号となるデジタル信号が得られる。このデジタル信号が伸長処理部８に与えられると、圧縮信号であるデジタル信号に対して、ＭＰＥＧ圧縮符号方式による伸長処理が施される。

そして、操作部１５によって画像の高解像度化が指示されると、伸長処理部８で伸長処理して得られた画像信号が、画像処理部４に与えられて、上述の低解像度実画像の選択処理や超解像処理が行われることで、高解像度画像が生成される。その後、生成された高解像度画像による画像信号がディスプレイ部９に与えられて、画像再生がなされる。又、伸長処理部８の伸長処理で得られた音声信号が、音声出力回路部１０を通じてスピーカ部１１に与えられることで、音声が再生出力される。

又、図１の撮像装置又は図１７の表示装置において、画像処理部４で超解像処理が成される画像について、動画像であっても構わないし、静止画像であっても構わない。尚、上述では、動画像となる画像信号が入力されたときの動作を中心に、各処理動作の説明を行っている。

本発明は、超解像処理による画像の高解像度化を行う画像処理装置を備えた撮像装置や表示装置に適用することができる。

は、本発明の画像処理装置となる画像処理部を備えた撮像装置の内部構成を示すブロック図である。 は、被写体の輝度分布と撮影時間の異なるフレームにおける画像データとの関係を示す図である。 は、超解像処理におけるフローの概要を説明するための図である。 は、本発明の実施形態となる撮像装置の超解像処理部の構成を示すブロック図である。 は、代表点マッチング法における検出領域の関係を示す図である。 は、基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。 は、１画素以内の位置ズレ検出を行う際の基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。 は、１画素以内の位置ズレ検出を行う際の基準画像の代表点及び非基準画像のサンプリング点それぞれの画素値の関係を示す図である。 は、実施例１の撮像装置の超解像処理部における高解像度更新量算出部の構成を示すブロック図である。 は、実施例１において成分係数算出部で演算処理がなされる際の重み係数と高周波成分の比率との関係を示すグラフである。 は、実施例２の撮像装置の超解像処理部における高解像度更新量算出部の構成を示すブロック図である。 は、実施例２において成される標準偏差算出部での演算処理動作を説明するための図である。 は、実施例２において成分係数算出部で演算処理がなされる際の重み係数と標準偏差の比率との関係を示すグラフである。 は、実施例３の撮像装置の超解像処理部における高解像度更新量算出部の構成を示すブロック図である。 は、実施例３において成されるエッジ方向フィルタでの演算処理動作を説明するための図である。 は、実施例３において成分係数算出部で演算処理がなされる際の重み係数とエッジ方向の比率との関係を示すグラフである。 は、本発明の画像処理装置となる画像処理部を備えた表示装置の内部構成を示すブロック図である。

符号の説明

１ イメージセンサ
２ ＡＦＥ
３ マイク
４ 画像処理部
５ 音声処理部
６ 圧縮処理部
７ ドライバ部
８ 伸長処理部
９ ディスプレイ部
１０ 音声出力回路部
１１ スピーカ部
１２ タイミングジェネレータ
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６，１７ バス回線
２０ 外部メモリ
４１，４２，４５ フレームメモリ
４３ 動き量算出部
４４ 超解像処理部
４６ 信号処理部

Claims (7)

1. 複数の低解像度実画像から高解像度画像を生成する高解像度化処理部と、
   該高解像度化処理部によって生成された前記高解像度画像に対して、複数の前記低解像度実画像それぞれと同等となる位置ズレ及び低解像度化によるボケ量を与える演算を行うことにより、複数の低解像度推定画像を生成する低解像度推定部と、
   を備える画像処理装置であって、
   前記低解像度実画像それぞれに対して、対応する前記低解像度推定画像との差分値に基づいて、前記低解像度実画像の各画素位置における低解像度更新量を算出する低解像度更新量算出部と、
   前記低解像度実画像それぞれについて、同一画素位置における前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれる画像成分を比較し、その比較結果に基づいて、前記低解像度更新量に乗算する重み係数を生成する重み係数算出部と、
   前記低解像度更新量に前記重み係数を乗算した後、その乗算結果に基づいて、前記高解像度画像の画素数に応じた前記高解像度更新量を算出する高解像度更新量算出部と、
   を備え、
   前記高解像度化処理部において、前回の処理で生成された前記高解像度画像に対して、前記高解像度更新量による更新を行うことで、前記高解像度画像を更新することを特徴とする画像処理装置。
2. 前記重み係数算出部における、前記画像成分の比較結果が、前記低解像度実画像の画素値の前記画像成分を前記低解像度推定画像の画素値の前記画像成分で除算して得られる画像成分の比であり、
   当該画像成分の比が１以上の所定値に近い値となると、前記重み係数を１に近い値とし、
   当該画像成分の比が前記所定値より遠い値となると、前記重み係数を０に近い値とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記重み係数算出部における、前記画像成分の比較結果が、前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれる高周波成分の比であることを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記重み係数算出部における、前記画像成分の比較結果が、前記低解像度実画像及び前記低解像度推定画像それぞれの画素値による標準偏差の比であることを特徴とする請求項１又は請求項２に記載の画像処理装置。
5. 前記重み係数算出部における、前記画像成分の比較結果が、前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれるエッジ方向成分の比であることを特徴とする請求項１又は請求項２に記載の画像処理装置。
6. 外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、
   前記高解像度化機能を実現する画像処理部として、請求項１〜請求項５のいずれに記載の画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする電子機器。
7. 複数の低解像度実画像から高解像度画像を生成する高解像度化ステップと、
   該高解像度化ステップによって生成された前記高解像度画像に対して、複数の前記低解像度実画像それぞれと同等となる位置ズレ及び低解像度化によるボケ量を与える演算を行うことにより、複数の低解像度推定画像を生成する低解像度推定ステップと、
   を備える画像処理方法であって、
   前記低解像度実画像それぞれに対して、対応する前記低解像度推定画像との差分値に基づいて、前記低解像度実画像の各画素位置における低解像度更新量を算出する低解像度更新量算出ステップと、
   前記低解像度実画像それぞれについて、同一画素位置における前記低解像度実画像及び前記低解像度推定画像それぞれの画素値に含まれる画像成分を比較し、当該画像成分の比較結果に基づいて、前記低解像度更新量に乗算する重み係数を生成する重み係数算出ステップと、
   前記低解像度更新量に前記重み係数を乗算した後、その乗算結果に基づいて、前記高解像度画像の画素数に合わせた前記高解像度更新量を算出する高解像度更新量算出ステップと、
   を備え、
   前記高解像度化ステップにおいて、前回の処理で生成された前記高解像度画像に対して、前記高解像度更新量による更新を行うことで、前記高解像度画像を更新することを特徴とする画像処理方法。

Images