JP2011237997A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】超解像処理とノイズ低減処理を併せて実行する装置および方法を提供する。
【解決手段】低解像度画像を入力し、高解像度化としての超解像処理を実行する構成において、ノイズ低減処理も併せて実行する。入力画像を、高い解像度の画像の持つ画素数に合わせるアップサンプル処理を実行し、アップサンプル画像と、第２の解像度を持つ参照画像との差分情報を利用して、参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する。この動き補償画像とアップサンプル画像、または動き補償画像とアップサンプル画像をブレンドしたブレンド画像とアップサンプル画像を入力し、例えば統合フィルタ処理と演算処理によって超解像処理とノイズ低減処理を併せて実行した画像を生成する。
【選択図】図７

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像の解像度を高める超解像処理に併せてノイズ低減処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。

低解像度の画像から高解像度の画像を生成する手法として超解像処理（ＳＲ：Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）が知られている。超解像処理（ＳＲ）は低解像度の画像から高解像度の画像を生成する処理である。

超解像処理の一手法として、例えば、低解像度の画像の撮影画像に基づいて、「レンズ、大気散乱によるボケ」、「被写体、カメラ全体の動き」、「撮像素子によるサンプリング」等の撮影条件を示すパラメータを導き出して、これらのパラメータを用いて理想的な高解像度の画像を推定する再構成型超解像手法がある。
この超解像処理の手法について開示した従来技術としては、例えば、特許文献１（特開２００８−１４００１２号公報）がある。

この再構成型超解像手法の手順の概要は以下の通りである。
（１）ボケ、動き、サンプリング等を考慮した画像撮影モデルを数式で表現する。
（２）上記の数式モデルで表現した画像撮影モデルから、コスト算出式を求める。この際、ベイズ理論を用いて事前確立等の正則化項を追加する場合もある。
（３）コストを最小とする画像を求める。
これらの処理によって、高解像度画像を求める手法である。この再構成型超解像手法によって得られる高解像度画像は入力画像に依存するものの、超解像効果(解像度復元効果)は高い。

超解像処理を実行する回路構成例を図１に示す。図１は超解像処理装置１０の回路構成例を示している。
超解像処理装置１０には、解像度を高める処理の対象となる低解像度画像（ｇ_ｎ）３１がアップサンプル部１１に入力され、解像度変換（高解像度化）がなされる。アップサンプル部１１では、生成予定の高解像度画像（ＳＲ処理画像ｆ_ｎ３２）に解像度を合わせる処理を行う。例えば１画素を複数画素に分割する処理（拡大処理）を行う。

動き推定／動き補償画像生成部１２は、前フレームの処理において生成された高解像度画像ｆ_ｎ−１、アップサンプリングした低解像度画像（ｇ_ｎ）３１間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、高解像度画像ｆ_ｎ−１に対する動き補償処理を行う。これにより高解像度画像ｆ_ｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇ_ｎと被写体の位置が同じに設定された動き補償画像が生成される。

動き判定部１３では、動き補償（ＭＣ）処理により生成された動き補償高解像度画像、及びアップサンプルした低解像度画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。

高解像度画像ｆ_ｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇ_ｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。

ブレンド処理部１４は、動き推定／動き補償画像生成部１２の生成した高解像度画像ｆ_ｎ−１に対する動き補償結果画像、
アップサンプリング部１１で低解像度画像ｇ_ｎに対してアップサンプリングされたアップサンプル画像、
動き領域情報（αマップ［０：１］）、
これらを入力する。

ブレンド処理部１４は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
このブレンド処理により、動き補償成功領域については動き補償結果画像のブレント比率が高まり、動き補償失敗領域については動き補償結果画像のブレント比率が低められたブレンド画像が生成される。

ボケ付加部１５は、ブレンド処理部１４の生成したブレンド画像を入力して空間解像度の劣化をシミュレーションする処理を行う。例えば、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。

ダウンサンプル部１６では、高解像度画像を入力画像と同じ解像度までダウンサンプリング処理を実行する。その後、差分器１７では、ダウンサンプル部１６、低解像度画像ｇ_ｎの画素毎の差分値を計算する。差分値は、アップサンプル部１８でアップサンプル処理が実行される。さらに、逆ボケ付加部１９で、ボケの付加処理と逆の処理を行う。動作としては、ボケ付加部１５で用いた点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との相関の計算に相当する処理を行う。

逆ボケ付加部１９の出力は、乗算器２０において予め設定した帰還係数γと乗算後、加算器２１に出力され、プレンド処理部１４の出力するブレンド画像と加算され、出力される。
この加算器２１の出力が入力画像ｇ_ｎ３１を高解像度化した画像（ＳＲ処理画像３２）となる。

この図１に示す超解像処理装置１０の実行する処理を式で示すと以下のように表現することが可能である。

・・・（式１）

なお、上記式（式１）において、各パラメータは以下のパラメータである。
ｎ：フレーム番号（ｎ−１フレームとｎフレームは例えば動画の連続フレーム）
ｇ_ｎ：入力画像（ｎフレームの低解像度画像）
ｆ_ｎ ^ＳＲ：フレームｎの超解像処理結果画像（＝高解像度画像）
ｆ_ｎ−１ ^ＳＲ：フレームｎ−１の超解像処理結果画像（＝高解像度画像）
Ｗ_ｎ：フレームｎのフレームｎ−１に対する動き情報（動きベクトルまたは行列など）
Ｈ：ボケ付加処理（ボケフィルタ行列）
Ｄ：ダウンサンプル処理（ダウンサンプル処理行列）
（Ｗ_ｎｆ_ｎ−１ ^ＳＲ）'：ブレンド処理部の出力するブレンド画像
γ_ＳＲ：帰還係数
Ｈ^Ｔ：Ｈの転置行列
Ｄ^Ｔ：Ｄの転置行列

図１に示す超解像処理回路１０による超解像手法では、実効的に以下の処理が行われている。
（ａ）入力画像の折り返し成分（エイリアシング）に基づいて、高周波成分（ナイキスト周波数以上）の成分を推定
（ｂ）低域成分内（ナイキスト周波数以下）の折り返し成分（エイリアシング）を除去、高周波成分（ナイキスト周波数以上）の復元
このような処理を実行している。

しかし、超解像を行うために指定した倍率と元々その画像が縮小される前にもっていた解像度によるエイリアス成分の倍率が一致しない場合には、依然としてエイリアスが画像中に残ってしまうという問題がある。また、動体と判定され補正されなかったエイリアス成分も画像中に残留し、結果としてノイズとなってしまうといったエイリアスに起因したノイズが残留してしまうという問題がある。

特開２００８−１４００１２号公報

本発明は、例えば上記問題点に鑑みてなされたものであり、超解像処理に際してノイズ低減も併せて実行することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理部と、
前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部を有する画像処理装置にある。

さらに、本発明の第２の側面は、
第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、前記ブレンド画像、または前記動き補償画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理と、前記第２の解像度の画素数に合わせるアップサンプル処理を実行する統合フィルタと、演算部によって構成され、前記演算部は、前記ブレンド画像、または前記動き補償画像と、前記統合フィルタの出力と、前記アップサンプル部の出力とを入力とした演算処理を実行して、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する。

さらに、本発明の画像処理装置の一実施態様において、前記統合フィルタは、位相ごとに異なる値を畳み込むポリフェーズフィルタによって構成される。

さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、超解像処理画像とノイズ低減処理画像のブレンド比率を前記演算部に入力するパラメータによって設定する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、超解像処理画像とノイズ低減処理画像のブレンド比率を、
（ａ）入力画像の画像領域単位で算出したＩＳＯ感度、
（ｂ）前記アップサンプル部における入力画像に対する画像拡大比率、
（ｃ）入力画像の画像領域単位の画素値の分散値、
少なくとも上記（ａ）〜（ｃ）のいずれかに応じて調整する処理を実行する。

さらに、本発明の第３の側面は、
画像処理装置において実行する画像処理方法であり、
アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
ブレンド処理部が、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理ステップと、
出力画像生成部が、前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行する画像処理方法にある。

さらに、本発明の第４の側面は、
画像処理装置において実行する画像処理方法であり、
アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
出力画像生成部が、前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行する画像処理方法にある。

さらに、本発明の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
ブレンド処理部に、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成させるブレンド処理ステップと、
出力画像生成部に、前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行させるプログラムにある。

さらに、本発明の第６の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
出力画像生成部に前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成させる出力画像生成ステップを実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、超解像処理とノイズ低減処理を併せて実行する装置および方法が実現される。すなわち、低解像度画像を入力し、高解像度化としての超解像処理を実行する構成において、ノイズ低減処理も併せて実行する。具体的には、例えば、入力画像を高い解像度の画像の持つ画素数に合わせるアップサンプル処理を実行し、アップサンプル画像と第２の解像度を持つ参照画像との差分情報を利用して、参照画像をアップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する。この動き補償画像とアップサンプル画像、または動き補償画像とアップサンプル画像をブレンドしたブレンド画像とアップサンプル画像を入力し、例えば統合フィルタ処理と演算処理によって超解像処理とノイズ低減処理を併せて実行した画像を生成する。本構成により超解像処理とノイズ低減処理を併せて実行した画像を生成して出力することができる。

超解像処理を実行する従来の回路構成例について説明する図である。 ノイズ低減処理を実行する回路の構成例について説明する図である。 ノイズ低減処理を実行する構成を変更した画像処理装置の構成例について説明する図である。 超解像処理を実行する構成を変更した画像処理装置の構成例について説明する図である。 ノイズ低減処理と超解像処理を実行する画像処理装置の構成のしかたについて説明する図である。 ノイズ低減処理と超解像処理を実行する画像処理装置の構成のしかたについて説明する図である。 ノイズ低減処理と超解像処理を実行する画像処理装置の構成例について説明する図である。 超解像処理を実行する構成を変更した画像処理装置の構成例について説明する図である。 ノイズ低減処理と超解像処理を実行する画像処理装置の構成のしかたについて説明する図である。 ノイズ低減処理と超解像処理を実行する画像処理装置の構成のしかたについて説明する図である。 ノイズ低減処理と超解像処理を実行する画像処理装置の構成例について説明する図である。 本発明の画像処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．超解像処理に併せてノイズ低減処理を実行する画像処理装置について
１−１．ノイズ低減処理回路（ＮＲ回路）を基本構成として、超解像処理回路（ＳＲ回路）を組み合わせた実施例
１−２．超解像処理回路（ＳＲ回路）を基本構成として、ノイズ低減処理回路（ＮＲ回路）を組み合わせた実施例
２．ノイズ低減画像と超解像処理画像のブレンド比率λの設定について
３．画像処理装置のハードウェア構成例について

［１．超解像処理に併せてノイズ低減処理を実行する画像処理装置について］
以下、超解像処理に併せてノイズ低減処理を実行する本発明に従った画像処理装置の構成例について説明する。
なお、基本的な超解像処理回路（ＳＲ回路）は、例えば、先に説明した特許文献１（特開２００８−１４００１２号公報）に記載されている。
また、ノイズ低減処理回路（ＮＲ回路）は、例えば特開２００８−２９４６０１号公報にその基本構成が記載されている。
なお、いずれも本出願人と同一の出願人の発明である。

以下では、
（ａ）超解像処理回路（ＳＲ回路）を基本構成として、ノイズ低減処理回路（ＮＲ回路）を組み合わせた実施例。
（ｂ）ノイズ低減処理回路（ＮＲ回路）を基本構成として、超解像処理回路（ＳＲ回路）を組み合わせた実施例。
これらの２つの実施例について、順次説明する。
いずれの実施例においても、超解像処理とノイズ低減処理が併せて実現される。

［１−１．超解像処理回路（ＳＲ回路）を基本構成として、ノイズ低減処理回路（ＮＲ回路）を組み合わせた実施例］
まず、例えば特開２００８−１４００１２号公報に記載された超解像処理回路（ＳＲ回路）を基本構成として、ノイズ低減処理回路（ＮＲ回路）を組み合わせた実施例について説明する。

超解像処理回路（ＳＲ回路）としては、先に図１を参照して説明した回路が既に知られている。
一方、ノイズ低減処理回路（ＮＲ回路）としては、例えば特開２００８−２９４６０１号公報に記載されたノイズ低減処理回路（ＮＲ回路）がある。図２を参照してこの基本的なノイズ低減処理回路（ＮＲ回路）の構成について説明する。

図２に示すノイズ低減処理回路５０には、ノイズ低減処理の対象となる入力画像７１が入力される。入力画像７１は、動き推定／動き補償画像生成部５１と動き判定部５２に入力される。

動き推定／動き補償画像生成部５１は、前フレームの処理において生成されたノイズ低減画像ｆ^ＮＲ _ｎ−１と、入力画像ｆ_ｎ間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、前フレームのノイズ低減画像ｆ^ＮＲ _ｎ−１に対する動き補償処理（ＭＣ）を行う。これにより前フレームのノイズ低減画像ｆ^ＮＲ _ｎ−１に動き補償処理が施され、入力画像ｆ_ｎと被写体の位置を同じに設定したた動き補償画像を生成する。ただし、画像内部に動被写体等がある場合などには、動き補償画像に入力画像と被写体位置のずれてしまう画像領域、すなわち動き補償失敗領域が発生することがある。

動き判定部５２では、動き補償（ＭＣ）処理により生成された動き補償画像、及び入力画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域、すなわち、上記の動き補償失敗領域を検出する。例えば上述したように被写体自身が動いている画像部分などに動き補償失敗領域が発生する。

動き判定部５２では、動き推定／動き補償画像生成部５１が前フレームのノイズ低減画像ｆ^ＮＲ _ｎ−１をベースとして生成した動き補償画像と、入力画像ｆ_ｎとの同一の画素位置の画素値を比較し、画素値比較に基づいて被写体位置の同一性を判定する。２つの画像において被写体位置が同じ画素位置に設定されたと判定された画像領域を動き補償成功領域と判定し、同じ位置に設定されていないと判定した領域を動き領域失敗領域とし、これらを区別したマップを生成する。すなわち、動き領域情報（αマップ［０：１］）を生成して出力する。

動き領域情報（αマップ［０：１］）は、成功領域〜失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。

乗算器５３は、動き推定／動き補償画像生成部５１が前フレームのノイズ低減画像ｆ^ＮＲ _ｎ−１をベースとして生成した動き補償画像と、動き判定部５２の生成した動き領域情報（αマップ）の係数αとの乗算処理を実行する。なお、この乗算処理においては、予め規定した帰還係数：γ_ＮＲも併せて乗算する。

一方、乗算器５４は、入力画像７１と、動き判定部５２の生成した動き領域情報（αマップ）の係数αに基づく値（１−α）との乗算処理を実行する。なお、この乗算処理においては、予め規定した帰還係数：γ_ＮＲをαに乗算し、（１−αγ_ＮＲ）を入力画像に乗算する処理を行う。

加算器５５は、乗算器５３と乗算器５４の出力を加算してノイズ低減画像としての出力であるＮＲ処理画像７２を生成して出力する。すなわち、乗算器５３と乗算器５４の出力を以下の式に基づいてブレンドし、ブレンド画像をＮＲ処理画像７２とする。
ＮＲ処理画像＝（１−αγ_ＮＲ）（入力画像）+αγ_ＮＲ（動き補償結果画像）
このブレンド処理は、動き補償成功領域については動き補償結果画像のブレント比率を高め、動き補償失敗領域についてはブレント比率を低めたブレンド処理である。この処理によってＮＲ処理画像７２が生成されて出力される。

この図２に示す画像処理装置５０の実行する処理を式で示すと以下のように表現することが可能である。

・・・（式２）

なお、上記式（式２）において、各パラメータは以下のパラメータである。
ｎ：フレーム番号（ｎ−１フレームとｎフレームは例えば動画の連続フレーム）
Ｉ_ｉｎ：入力画像（ｎフレームの低解像度画像）
ｆ_ｎ ^ＮＲ：フレームｎのノイズ低減画像
ｆ_ｎ−１ ^ＮＲ：フレームｎ−１のノイズ低減画像
Ｗ_ｎ：フレームｎのフレームｎ−１に対する動き情報（動きベクトルまたは行列など）
γ_ＳＲ：帰還係数

以上、図２を参照して基本的なノイズ低減処理回路（ＮＲ回路）の構成と処理について説明した。
なお、先に説明したように、基本的な超解像処理回路（ＳＲ回路）としては図１を参照して説明した回路が既に知られている。

本発明は、例えば図１に示す超解像処理回路（ＳＲ回路）に従った超解像処理と、図２に示すノイズ低減処理回路（ＮＲ回路）に従ったノイズ低減処理も併せて実行する画像処理装置を実現するものである。
以下、実施例１としてこのような超解像処理に併せてノイズ低減処理を実現する画像処理装置の構成例について説明する。

まず、この実施例１の画像処理装置を実現するための回路構成として、
（ａ）構成を変更したノイズ低減処理回路（構成変更ＮＲ回路）
（ｂ）構成を変更した超解像処理回路（構成変更ＳＲ回路）
これらの変更型回路について説明する。

（ａ）構成を変更したノイズ低減処理回路（構成変更ＮＲ回路）は、図２に示す従来型のノイズ低減処理回路（ＮＲ回路）を、図１に示す超解像処理回路（ＳＲ回路）の回路構成に近づけた回路である。
（ｂ）構成を変更した超解像処理回路（構成変更ＳＲ回路）は、図１に示す従来型の超解像処理回路（ＳＲ回路）を、上記（ａ）の構成変更ＮＲ回路に近づけた回路である。
以下、図３、図４を参照してこれらの回路について順次説明する。

（ａ）構成を変更したノイズ低減処理回路（構成変更ＮＲ回路）
図２に示す従来型のノイズ低減処理回路（ＮＲ回路）を、図１に示す超解像処理回路（ＳＲ回路）の回路構成に近づけた回路構成について図３を参照して説明する。

図３の画像処理装置１００は、図２に示すノイズ低減処理回路５０と同様、ノイズ低減処理を実行する画像処理装置である。
図３に示す画像処理装置１００の構成と処理について説明する。画像処理装置１００には、処理対象となる入力画像（ｇ_ｎ）１１１がアップサンプル部１０１に入力され、解像度変換（拡大画像の生成）がなされる。アップサンプル部１１では、例えば１画素を４画素に設定する等の処理により、解像度変換（拡大画像の生成）がなされる。

動き推定／動き補償画像生成部１０２は、前フレームの処理画像ｆ_ｎ−１と、アップサンプリングした低解像度画像（ｇ_ｎ）３１間の動きの大きさを検出する。なお、前フレームの処理画像ｆ_ｎ−１はノイズ低減のなされた処理画像である。

動き推定／動き補償画像生成部１０２は、前フレームの処理画像ｆ_ｎ−１と、アップサンプリングした入力画像（ｇ_ｎ）１１１間の動きの大きさ、具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、前フレーム処理画像ｆ_ｎ−１に対する動き補償処理を行う。これにより前フレーム処理画像ｆ_ｎ−１に動き補償処理が施され、アップサンプリングした入力画像ｇ_ｎと被写体の位置が同じに設定された動き補償画像が生成される。ただし、前述したように移動被写体等の領域では、被写体位置が一致しない動き補償失敗領域となる。

動き判定部１０３では、動き補償（ＭＣ）処理により生成された前フレーム処理画像の動き補償画像と、アップサンプルした入力画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域となる。

動き判定部１０３では、前フレーム処理画像ｆ_ｎ−１の動き補償画像と、アップサンプリングした入力画像ｇ_ｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。

動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。

ブレンド処理部１０４は、動き推定／動き補償画像生成部１０２の生成した前フレーム処理画像ｆ_ｎ−１の動き補償画像、
アップサンプリング部１０１で入力画像ｇ_ｎに対してアップサンプリングしたアップサンプル画像、さらに、
動き領域情報（αマップ［０：１］）、
これらを入力する。

ブレンド処理部１０４は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
このブレンド処理により、動き補償成功領域については前フレーム処理画像に基づいて生成された動き補償画像のブレント比率が高まり、動き補償失敗領域については動き補償画像のブレント比率が低められたブレンド画像が生成される。

乗算器１０５は、ブレンド処理部１０４の出力するブレンド画像に予め設定した帰還係数γ_ＮＲを乗算する。帰還係数γ_ＮＲは、入力画像に対するブレンド処理画像の加算割合を設定したパラメータであり、例えばユーザが自由に設定できる。

一方、乗算器１０６は、アップサンプリング部１０１で入力画像ｇ_ｎに対してアップサンプリングされたアップサンプル画像と、動き判定部１０３の生成した動き領域情報（αマップ）の係数αに基づく値（１−α）との乗算処理を実行する。なお、この乗算処理においては、予め規定した帰還係数：γ_ＮＲをαに乗算し、（１−αγ_ＮＲ）を入力画像に乗算する処理を行う。

加算器１０７は、乗算器１０５と乗算器１０６の出力を加算して出力である処理画像ｆ_ｎ ^ＮＲ１１２を生成して出力する。すなわち、乗算器１０５と乗算器１０６の出力を以下の式に基づいてブレンドし、ブレンド画像をＮＲ処理画像７２とする。
処理画像＝（１−αγ_ＮＲ）（アップサンプル入力画像）+αγ_ＮＲ（前フレーム処理画像の動き補償画像）

このブレンド処理は、動き補償成功領域については前フレームの処理画像に対する動き補償画像のブレント比率を高め、動き補償失敗領域についてはブレント比率を低めたブレンド処理である。この処理によって処理画像ｆ_ｎ ^ＮＲ１１２を生成して出力する。

この図３に示す画像処理装置１００の実行する処理を式で示すと以下のように表現することが可能である。

・・・（式３）

なお、上記式（式３）において、各パラメータは以下のパラメータである。
ｎ：フレーム番号（ｎ−１フレームとｎフレームは例えば動画の連続フレーム）
ｇ_ｎ：入力画像（ｎフレームの低解像度画像）
ｆ_ｎ ^ＳＲ：フレームｎの超解像処理結果画像（＝高解像度画像）
ｆ_ｎ−１ ^ＳＲ：フレームｎ−１の超解像処理結果画像（＝高解像度画像）
Ｗ_ｎ：フレームｎのフレームｎ−１に対する動き情報（動きベクトルまたは行列など）
Ｈ：ボケ付加処理（ボケフィルタ行列）
Ｄ：ダウンサンプル処理（ダウンサンプル処理行列）
（Ｗ_ｎｆ_ｎ−１ ^ＳＲ）'：ブレンド処理部の出力するブレンド画像
γ_ＳＲ：帰還係数
Ｈ^Ｔ：Ｈの転置行列
Ｄ^Ｔ：Ｄの転置行列
α：αマップの係数（動き補償成功領域〜失敗領域＝１〜０）

なお、図３に示すアップサンプル部１０１の出力は、上記式３の末尾の、
［Ｈ^ＴＤ^Ｔｇ_ｎ］に対応する。
また、ブレンド処理部１０４の出力は、下式（式４）によって算出される。

・・・（式４）

図３に示す画像処理装置１００の出力は、基本的に図２を参照して説明したノイズ低減を実行する処理回路（ＮＲ回路）の回路構成要素をすべて含んでおり、ノイズ低減が実現される。
さらに、図３に示す装置は、アップサンプル処理部１０１、ブレンド処理部１０４を有しており、先に図１を参照して説明した超解像処理回路と共通する要素を持つ構成となっている。

（ｂ）構成を変更した超解像処理回路（構成変更ＳＲ回路）
次に、図４を参照して、図１に示す従来型の超解像処理回路（ＳＲ回路）を、上記（ａ）の構成変更ＮＲ回路に近づけた回路について説明する。

図４に示す画像処理装置１５０は、図１に示した超解像処理回路１０と同様、低解像度画像ｇ_ｎ１３１を入力して、超解像処理を実行して高解像度画像ｆ_ｎ（＝ＳＲ処理画像１３２）を出力する。

画像処理装置１５０には、解像度を高める処理の対象となる低解像度画像（ｇ_ｎ）１３１がアップサンプル部１５１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部１５１では、入力画像の画素数を出力予定の画像（ＳＲ処理画像ｆ_ｎ１３２）の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。

動き推定／動き補償画像生成部１５２は、前フレームの処理において生成された高解像度画像ｆ_ｎ−１、アップサンプリングした低解像度画像（ｇ_ｎ）１３１間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、高解像度画像ｆ_ｎ−１に対する動き補償処理を行う。これにより高解像度画像ｆ_ｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇ_ｎと被写体の位置が同じに設定された動き補償画像が生成される。

動き判定部１５３では、動き補償（ＭＣ）処理により生成された動き補償高解像度画像、及びアップサンプルした低解像度画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。

高解像度画像ｆ_ｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇ_ｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。

ブレンド処理部１５１は、動き推定／動き補償画像生成部１５２の生成した高解像度画像ｆ_ｎ−１に対する動き補償結果画像、
アップサンプリング部１５１で低解像度画像ｇ_ｎに対してアップサンプリングされたアップサンプル画像、
動き領域情報（αマップ［０：１］）、
これらを入力する。

ブレンド処理部１５４は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
このブレンド処理により、動き補償成功領域については動き補償結果画像のブレント比率が高まり、動き補償失敗領域については動き補償結果画像のブレント比率が低められたブレンド画像が生成される。

図４に示す画像処理装置１５０は、出力画像生成部１７０の構成が図１に示す構成と異なっている。具体的には以下のような変更がなされている。
図１に示す２つのアップサンプル部、すなわちアップサンプル部１１と、アップサンプル部１８をまとめて、図４に示す構成では、１つのアップサンプル部１５１としている。
さらに、図１に示すダウンサンプル部１６と差分器１７を、図４の構成では、統合フィルタ（ポリフェーズフィルタ）１７１に置き換えている。

統合フィルタ（ポリフェーズフィルタ）１７１は、ブレンド処理部１５４の生成するブレンド画像を第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理と、第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する。統合フィルタ（ポリフェーズフィルタ）１７１は、例えばポリフェーズフィルタであり、位相毎に異なる値を畳み込むフィルタリング処理を行う。

なお、この出力画像生成部１７０の構成変更に伴い、統合フィルタ（ポリフェーズフィルタ）１７１の出力に対するＳＲ帰還係数との乗算処理を実行する乗算器１７２、ブレンド処理部の出力するブレンド画像から乗算器１７２の出力を減算させる差分器１７３を設けている。
差分器１７３の出力が、加算器１７５に出力される。
加算器１７５は、入力である低解像度画像１３１に対してアップサンプル部１５１でアップサンプルされた画像に予め設定した帰還係数γ_ＳＲを乗算器１７４において乗算したＳＲフィードバック値と差分器１７３の出力を加算してＳＲ処理画像１３２を生成して出力する。

図４に示す画像処理装置１８０の実行する処理を式で示すと以下のように表現することが可能である。

・・・（式５）

この式（式５）の第１行は、図１の構成において実行する処理を示す式と同じ式である。第２行、第３行は、式の変形を行った結果であり、第３行の式が図４に示す構成と対応している。

すなわち、アップサンプル部１８１では、逆ボケ付加処理（Ｈ^Ｔ）とアップサンプル処理（Ｄ^Ｔ）に相当する処理を実行し、アップサンプル部１８１の出力は、図４中に示すように、以下の式で示すことができる。
Ｈ^ＴＤ^Ｔｇ_ｎ、

また、統合フィルタ（ポリフェーズフィルタ）１８２は、ブレンド画像を入力画像に相当する第１の解像度（低解像度）の構成画素数まで低下させるダウンサンプル処理と、第２の解像度（高解像度）の画素数に合わせるアップサンプル処理を実行する。例えば位相毎に異なる値を畳み込むフィルタリング処理を行うポリフェーズフィルタによって構成される。

このフィルタリング処理は、
Ｈ^ＴＤ^ＴＤＨ、
として示すことができ、統合フィルタ（ポリフェーズフィルタ）１８２の出力は、
（Ｈ^ＴＤ^ＴＤＨ）（Ｗ_ｎｆ_ｎ−１ ^ＳＲ）'
となる。

また、図４中の差分器１７３の出力は、図４の（Ａ）に示すように、上記式（式５）の前半部分に対応し、
（１−γ_ＳＲＨ^ＴＤ^ＴＤＨ）（Ｗ_ｎｆ_ｎ−１ ^ＳＲ）'
上記のように示すことができる。
また、乗算器１７４の出力は、図４の（Ｂ）に示すように、上記式（式４）の後半部分に対応し、
γ_ＳＲＨ^ＴＤ^Ｔｇ_ｎ、
上記のように示すことができる。

結果として、加算器１７５の出力は、上記式（式５）によって示される値、すなわち、
ｆ_ｎ ^ＳＲ＝（１−γ_ＳＲＨ^ＴＤ^ＴＤＨ）（Ｗ_ｎｆ_ｎ−１ ^ＳＲ）'＋γ_ＳＲＨ^ＴＤ^Ｔｇ_ｎ、
となる。
この式は、前記した式５の展開から理解されるように、図１の構成における処理と等化であり、図４に示す構成を用いることで、超解像処理結果ｆ_ｎ ^ＳＲが出力されることになる。

この図４に示す画像処理装置１８０では、フィルタリング処理は、アップサンプル部１８１と、統合フィルタ（ポリフェーズフィルタ）１８２であり、図１に示す構成と比較して、フィルタ処理の必要となる構成が現象し、結果としてハードウェア構成の小型化、コストダウン、さらに処理の効率化が実現されることになる。

（ｃ）構成変更ＮＲ回路（図３）と、構成変更ＳＲ回路（図４）を統合した画像処理装置
次に、図５以下を参照して図３に示すノイズ低減を行う画像処理装置１００と、図４に示す超解像処理を実現する画像処理装置１８０を併せた画像処理装置の構成例について説明する。

図５には、
（ａ）構成を変更したノイズ低減処理回路（構成変更ＮＲ回路）（＝図３）
（ｂ）構成を変更した超解像処理回路（構成変更ＳＲ回路）（＝図４）
これらの２つの回路を示している。

図５に示す（ａ），（ｂ）の回路は共通の構成要素を持つ。
すなわち、
アップサンプル部、
動き推定／動き補償画像生成部、
動き判定部、
ブレンド処理部、
ここまでの構成は、接続関係も含めてすべて共通の回路構成となっている。

その後段の回路構成が異なっている。
この異なる構成を持つ回路部分を、
（ａ）構成変更ＮＲ回路のＮＲフィルタ１８１、
（ｂ）構成変更ＳＲ回路のＳＲフィルタ１８２、
とする。

ＮＲフィルタ１８１に対する入力と、ＳＲフィルタ１８２に対する入力は、いずれも共通する。すなわち、
ブレンド処理部の出力するブレンド画像、
アップサンプル部の出力するアップサンプル画像、
これらの２つの画像データとなる。

この図５に示す２つの回路（ａ），（ｂ）を統合すると、図６に示す回路となる。図６に示す回路は、図５に示す回路（ａ），（ｂ）の前半の共通要素を省略して、ＮＲフィルタ１８１、ＳＲフィルタ１８２に対して、それぞれブレンド処理部の出力するブレンド画像と、アップサンプル部の出力するアップサンプル画像を入力する設定としている。

図６に示す回路において、
ＮＲフィルタ１８１の出力は、図５（ａ）の回路の出力、すなわち先に図３を参照して説明した構成変更ＮＲ回路の出力に対応し、入力画像のノイズ低減画像となる。
また、
ＳＲフィルタ１８２の出力は、図５（ｂ）の回路の出力、すなわち先に図４を参照して説明した構成変更ＳＲ回路の出力に対応し、入力画像の超解像処理画像となる。

図６の回路は、これらの２つの出力を予め設定したブレンド比率（λ：１−λ）を用いてブレンドして最終的な出力画像を得る回路である。

図６に示す回路は、
ノイズ低減画像であるＮＲフィルタ１８１の出力をｆ_ｎ ^ＮＲ、
超解像処理画像であるＳＲフィルタ１８２の出力をｆ_ｎ ^ＳＲ、
この設定とし、
ノイズ低減画像であるＮＲフィルタ１８１の出力ｆ_ｎ ^ＮＲのブレンド比率をλ、
超解像処理画像であるＳＲフィルタ１８２の出力ｆ_ｎ ^ＳＲのブレンド比率を（１−λ）、
として各処理画像のブレンド画像ｆ_ｎを出力する回路である。
すなわち、出力画像ｆ_ｎは下式で示される。
ｆ_ｎ＝λｆ_ｎ ^ＮＲ＋（１−λ）ｆ_ｎ ^ＳＲ、

上記式、すなわち、図６に示す回路の実行する処理の式を展開すると、以下に示す式（式６）のように展開できる。

・・・（式６）

上記式（式６）の展開式に従った回路を構成することで、超解像処理とノイズ低減処理の双方の処理を実行した結果を出力することができる。
この回路構成例を図７に示す。

図７に示す画像処理装置２００は、図６に示す回路の具体的な構成例に相当する。すなわち、超解像処理とノイズ低減処理の双方の処理を実行した結果としての画像を出力する画像処理装置である。

図７に示す画像処理装置２００の、アップサンプル部２０１、動き推定／動き補償画像生成部２０２、動き判定部２０３、ブレンド処理部２０４は、図５の（ａ），（ｂ）の各回路と同じ構成である。すなわち、これらのアップサンプル部２０１、動き推定／動き補償画像生成部２０２、動き判定部２０３、ブレンド処理部２０４は、図３を参照して説明したノイズ低減処理を実行する画像処理装置１００と、図４を参照して説明した超解像処理を実行する画像処理装置１５０とに共通する構成である。

図７に示す回路の後段において、上記の共通構成の出力であるブレンド画像と、アップサンプル画像を入力して、ノイズ低減画像と超解像処理画像を生成して、さらにこれらをブレンドする処理によって最終的な出力画像を生成する。
図７に示す画像処理装置２００の構成と処理について説明する。

図７に示す画像処理装置２００は、処理対象となる低解像度画像（ｇ_ｎ）２５１を入力し、解像度を高める超解像処理を実行し、かつノイズ低減処理のなされた画像、すなわち、図７に示すＳＲ＋ＮＲ処理画像（ｆ_ｎ）２５２を生成して出力する。

処理対象となる低解像度画像（ｇ_ｎ）２５１は、まず、アップサンプル部２０１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部２０１では、入力画像の画素数を出力予定の画像（ＳＲ＋ＮＲ処理画像ｆ_ｎ２５２）の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。すなわち、第１の解像度（低解像度）の入力画像を、第１の解像度（低解像度）より高い第２の解像度（高解像度）の画像の持つ画素数に合わせるアップサンプル処理を実行する。

動き推定／動き補償画像生成部２０２は、前フレームの処理において生成された処理画像ｆ_ｎ−１、アップサンプリングした低解像度画像（ｇ_ｎ）２５１間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、前フレームの処理画像ｆ_ｎ−１に対する動き補償処理を行う。これにより前フレームの処理画像ｆ_ｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇ_ｎと被写体の位置が同じに設定された動き補償画像が生成される。なお、前フレームの処理画像ｆ_ｎ−１は、高解像度化処理である超解像処理と、ノイズ低減処理の両処理が実行された画像である。

動き判定部２０３では、動き補償（ＭＣ）処理により生成された動き補償前フレーム処理画像、及びアップサンプルした低解像度画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。

前フレーム処理画像ｆ_ｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇ_ｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。

ブレンド処理部２０３は、動き推定／動き補償画像生成部２０２の生成した前フレーム処理画像ｆ_ｎ−１に対する動き補償結果画像、
アップサンプリング部２０２で低解像度画像ｇ_ｎに対してアップサンプリングされたアップサンプル画像、
動き領域情報（αマップ［０：１］）、
これらを入力する。

ブレンド処理部２０３は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としてのブレンド画像を出力する。
ブレンド画像＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
このブレンド処理により、動き補償成功領域については動き補償結果画像のブレント比率が高まり、動き補償失敗領域については動き補償結果画像のブレント比率が低められたブレンド画像が生成される。

図７に示す画像処理装置２００において、ブレンド処理部２０４以降の回路がブレンド画像、およびアップサンプル画像を入力して、入力画像の高解像度化処理としての超解像処理と、入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部２２０となる。すなわち出力画像生成部２２０は、図６に示すＮＲフィルタ１８１とＳＲフィルタ１８２とその他の演算部を含む回路である。

超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部２２０は、図７に示す統合フィルタ２０５と、その他の演算部によって構成される。演算部は、乗算器２１１〜２１３、加算器２１４，２１５によって構成される。

ブレンド処理部２０４以降の出力画像生成部２２０の処理について説明する。
ブレンド処理部２０４の生成したブレンド画像は、統合フィルタ（ポリフェーズフィルタ）２０５と、乗算器２１１に出力される。統合フィルタ（ポリフェーズフィルタ）２０５は、先に図４を参照して説明した統合フィルタ２０５と同様の処理を行う。すなわち、統合フィルタ（ポリフェーズフィルタ）２０５は、ブレンド処理部２０４の生成するブレンド画像を入力画像に対応する第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理と、出力画像に対応する第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する。統合フィルタ（ポリフェーズフィルタ）２０５は、例えばポリフェーズフィルタであり、位相毎に異なる値を畳み込むフィルタリング処理を行う。

乗算器２１１〜２１３は、予め設定されたパラメータである乗算係数を乗算する。
乗算器２１１は、パラメータ（λγ_ＮＲ＋（１−λ））、
乗算器２１２は、パラメータ（（１−λ）γ_ＳＲ）、
乗算器２１３は、パラメータ（λ（１−γ_ＮＲ）＋（１−λ）γ_ＳＲ）、
これらの係数を乗算するための乗算器である。
なお、
γ_ＮＲは、ノイズ低減処理における帰還係数、
γ_ＳＲは、超解像処理における帰還係数、
λは、ノイズ低減処理画像と超解像処理画像のブレンド比率、
である。
これらの値は、予め設定した値として各乗算器に入力する。

乗算器２１１は、ブレンド処理部２０４からの出力（Ｗ_ｎｆ_ｎ−１）'に対してパラメータ（λγ_ＮＲ＋（１−λ））を乗算する処理を行う。すなわち、
（λγ_ＮＲ＋（１−λ））×（Ｗ_ｎｆ_ｎ−１）'
上記の乗算処理を実行する。

乗算器２１２は、統合フィルタ２０５からの出力（Ｈ^ＴＤ^ＴＤＨ（Ｗ_ｎｆ_ｎ−１）'に対してパラメータ（（１−λ）γ_ＳＲ）を乗算する処理を行う。すなわち、
（（１−λ）γ_ＳＲ）×（Ｈ^ＴＤ^ＴＤＨ（Ｗ_ｎｆ_ｎ−１）'）
上記の乗算処理を実行する。

乗算器２１３は、アップサンプル部２０１からの出力（Ｈ^ＴＤ^Ｔｇ_ｎ）に対してパラメータ（λ（１−γ_ＮＲ）＋（１−λ）γ_ＳＲ）を乗算する処理を行う。すなわち、
（λ（１−γ_ＮＲ）＋（１−λ）γ_ＳＲ）×Ｈ^ＴＤ^Ｔｇ_ｎ
上記の乗算処理を実行する。

減算器２１４は、乗算器２１１の出力から乗算器２１２の出力を減算する処理を行う。すなわち、
（（λγ_ＮＲ＋（１−λ））×（Ｗ_ｎｆ_ｎ−１）'）−（（（１−λ）γ_ＳＲ）×（Ｈ^ＴＤ^ＴＤＨ（Ｗ_ｎｆ_ｎ−１）'）
上記の減算処理を実行する。

加算器２１５は、加算器２１４の出力と、乗算器２１３の出力を加算する処理を行う。すなわち、
（（λγ_ＮＲ＋（１−λ））×（Ｗ_ｎｆ_ｎ−１）'）−（（（１−λ）γ_ＳＲ）×（Ｈ^ＴＤ^ＴＤＨ（Ｗ_ｎｆ_ｎ−１）'）＋（λ（１−γ_ＮＲ）＋（１−λ）γ_ＳＲ）×（Ｈ^ＴＤ^Ｔｇ_ｎ）
上記の加算処理を実行する。
この結果が出力画像となる。

上記の出力画像を示す式をまとめると、
（（λγ_ＮＲ＋（１−λ））×（Ｗ_ｎｆ_ｎ−１）'）−（（（１−λ）γ_ＳＲ）×（Ｈ^ＴＤ^ＴＤＨ（Ｗ_ｎｆ_ｎ−１）'）＋（λ（１−γ_ＮＲ）＋（１−λ）γ_ＳＲ）×（Ｈ^ＴＤ^Ｔｇ_ｎ）
＝（λγ_ＮＲ＋（１−λ））−（１−λ）γ_ＳＲＨ^ＴＤ^ＴＤＨ）（Ｗ_ｎｆ_ｎ−１）'＋（λ（１−γ_ＮＲ）＋（１−λ）γ_ＳＲ）×Ｈ^ＴＤ^Ｔｇ_ｎ

この図７に示す画像処理装置２００の実行する処理を式で示すと以下のように表現することが可能である。

・・・（式７）

図７の下部にも上記式（式７）と同様の式を示している。
図７に示す式中に示す（１）〜（３）は、各乗算器に対する入力であり、先に説明した乗算パラメータである。すなわち、
（１）乗算器２１１のパラメータ（λγ_ＮＲ＋（１−λ））、
（２）乗算器２１２のパラメータ（（１−λ）γ_ＳＲ）、
（３）乗算器２１３のパラメータ（λ（１−γ_ＮＲ）＋（１−λ）γ_ＳＲ）、
これらのパラメータである。

図７に示すように、式７は、これらのパラメータと、以下の各値によって構成されている。
統合フィルタの処理：Ｈ^ＴＤ^ＴＤＨ、
ブレンド画像：（Ｗ_ｎｆ_ｎ−１）'、
アップサンプル部の出力：Ｈ^ＴＤ^Ｔｇ_ｎ、

上記（式７）は、先に説明した式（式６）と同様の式である。すなわち、図７に示す画像処理装置２００により、入力画像である低解像度画像（ｇ_ｎ）２５１は、高解像度化としての超解像処理と、ノイズ低減処理を実行した結果としてのＳＲ＋ＮＲ画像２５２として出力される。

［１−２．ノイズ低減処理回路（ＮＲ回路）を基本構成として、超解像処理回路（ＳＲ回路）を組み合わせた実施例］
次に、例えば特開２００８−２９４６０１号公報に記載されたノイズ低減処理回路（ＮＲ回路）を基本構成として、超解像処理回路（ＳＲ回路）を組み合わせた実施例について説明する。

ノイズ低減処理回路（ＮＲ回路）としては、先に図２を参照して説明した回路が既に知られている。
本実施例の画像処理装置の構成の前段階として、上述の実施例１において図４を参照して説明した超解像処理回路（ＳＲ回路）を、さらに変形して図２に示すＮＲ回路に近づけた構成を生成する。

図８に示す画像処理装置３００は、図４を参照して説明した超解像処理回路（ＳＲ回路）と同様、低解像度画像ｇ_ｎ３２１を入力して、超解像処理を実行して高解像度画像ｆ_ｎ（＝ＳＲ処理画像３２２）を出力する。

画像処理装置３００には、解像度を高める処理の対象となる低解像度画像（ｇ_ｎ）３２１がアップサンプル部３０１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部３０１では、入力画像の画素数を出力予定の画像（ＳＲ処理画像ｆ_ｎ３２２）の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。すなわち、第１の解像度（低解像度）の入力画像を、第１の解像度（低解像度）より高い第２の解像度（高解像度）の画像の持つ画素数に合わせるアップサンプル処理を実行する。

動き推定／動き補償画像生成部３０２は、前フレームの処理において生成された高解像度画像ｆ_ｎ−１、アップサンプリングした低解像度画像（ｇ_ｎ）３２１間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、高解像度画像ｆ_ｎ−１に対する動き補償処理を行う。これにより高解像度画像ｆ_ｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇ_ｎと被写体の位置が同じに設定された動き補償画像［Ｗ_ｎｆ_ｎ−１ ^ＳＲ］が生成される。

動き判定部３０３では、動き補償（ＭＣ）処理により生成された動き補償画像［Ｗ_ｎｆ_ｎ−１ ^ＳＲ］、及びアップサンプルした入力画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。

高解像度画像ｆ_ｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇ_ｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。

動き補償（ＭＣ）処理により生成された動き補償画像［Ｗ_ｎｆ_ｎ−１ ^ＳＲ］は、さらに、統合フィルタ（ポリフェーズフィルタ）３０４に入力される。統合フィルタ（ポリフェーズフィルタ）３０４は、動き補償画像［Ｗ_ｎｆ_ｎ−１ ^ＳＲ］を第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理と、第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する。統合フィルタ（ポリフェーズフィルタ）３０４は、例えばポリフェーズフィルタであり、位相毎に異なる値を畳み込むフィルタリング処理を行う。

乗算器３０５は、統合フィルタ（ポリフェーズフィルタ）３０４の出力に対してＳＲ帰還係数（γ_ＳＲ）との乗算処理を実行する。
加算器３０６は、動き補償画像［Ｗ_ｎｆ_ｎ−１ ^ＳＲ］から乗算器３０５の出力を減算する。
さらに、乗算器３０７は、加算器３０６の出力に対して動き判定部３０３の生成する動き領域の判定パラメータであるαとの乗算処理を実行する。なお、αは、前述したように動き補償成功領域〜失敗領域に応じて１〜０の値が設定されたパラメータである。

一方、乗算器３０８は、入力である低解像度画像３２１に対してアップサンプル部３０１でアップサンプルされた画像［Ｈ^ＴＤ^Ｔｇ_ｎ］に動き領域の判定パラメータであるαと、予め設定した帰還係数γ_ＳＲを適用した乗算係数［１−α＋αγ_ＳＲ］との乗算処理を実行する。

加算器３０９は、乗算器３０７の出力と乗算器３０８の出力身を加算して、ＳＲ処理画像３２２を生成して出力する。

図８に示す画像処理装置３００の実行する処理を式で示すと以下のように表現することが可能である。

・・・（式８）

この式（式８）の第１行は、図４の構成において実行する処理を示す式と同じ式である。第２〜５行は、式の変形を行った結果であり、第５行の式が図８に示す構成と対応している。

なお、上記式（式８）において、第２行から第３行への変換では、以下のブレンド画像［（Ｗ_ｎｆ_ｎ−１ ^ＳＲ）'］の算出式を適用している。

・・・（式９）

さらに、上記式（式８）において、第４行から第５行への変換では、以下の近似式を適用している。

・・・（式１０）

次に、図９以下を参照して、先に説明した図２に示すノイズ低減を行う画像処理装置５０と、図８に示す超解像処理を実現する画像処理装置３００を併せた画像処理装置の構成例について説明する。

図９には、
（ａ）ノイズ低減処理回路（ＮＲ回路）（＝図２）
（ｂ）構成を変更した超解像処理回路（構成変更ＳＲ回路）（＝図８）
これらの２つの回路を示している。

図９に示す（ａ），（ｂ）の回路は共通の構成要素を持つ。
すなわち、
アップサンプル部、
動き推定／動き補償画像生成部、
動き判定部、
ここまでの構成は、接続関係も含めてすべて共通の回路構成となっている。

その後段の回路構成が異なっている。
この異なる構成を持つ回路部分を、
（ａ）構成変更ＮＲ回路のＮＲフィルタ４０１、
（ｂ）構成変更ＳＲ回路のＳＲフィルタ４０２、
とする。

ＮＲフィルタ４０１に対する入力と、ＳＲフィルタ４０２に対する入力は、いずれも共通する。すなわち、
前フレーム動き補償画像、
アップサンプル部の出力するアップサンプル画像、
これらの２つの画像データとなる。

この図９に示す２つの回路（ａ），（ｂ）を統合すると、図１０に示す回路となる。図１０に示す回路は、図９に示す回路（ａ），（ｂ）の前半の共通要素を省略して、ＮＲフィルタ４０１、ＳＲフィルタ４０２に対して、それぞれ前フレーム動き補償画像と、アップサンプル部の出力するアップサンプル画像を入力する設定としている。

図１０に示す回路において、
ＮＲフィルタ４０１の出力は、図９（ａ）の回路の出力、すなわち先に図２を参照して説明したＮＲ回路の出力に対応し、入力画像のノイズ低減画像となる。
また、
ＳＲフィルタ４０２の出力は、図９（ｂ）の回路の出力、すなわち先に図８を参照して説明した構成変更ＳＲ回路の出力に対応し、入力画像の超解像処理画像となる。

図１０の回路は、これらの２つの出力を予め設定したブレンド比率（λ：１−λ）を用いてブレンドして最終的な出力画像を得る回路である。

図１０に示す回路は、
ノイズ低減画像であるＮＲフィルタ４０１の出力をｆ_ｎ ^ＮＲ、
超解像処理画像であるＳＲフィルタ４０２の出力をｆ_ｎ ^ＳＲ、
この設定とし、
ノイズ低減画像であるＮＲフィルタ４０１の出力ｆ_ｎ ^ＮＲのブレンド比率をλ、
超解像処理画像であるＳＲフィルタ４０２の出力ｆ_ｎ ^ＳＲのブレンド比率を（１−λ）、
として各処理画像のブレンド画像ｆ_ｎを出力する回路である。
すなわち、出力画像ｆ_ｎは下式で示される。
ｆ_ｎ＝λｆ_ｎ ^ＮＲ＋（１−λ）ｆ_ｎ ^ＳＲ、

上記式、すなわち、図１０に示す回路の実行する処理の式を展開すると、以下に示す式（式１１）のように展開できる。

・・・（式１１）

上記式（式１１）の展開式に従った回路を構成することで、超解像処理とノイズ低減処理の双方の処理を実行した結果を出力することができる。
この回路構成例を図１１に示す。

図１１に示す画像処理装置５００は、図１０に示す回路の具体的な構成例に相当する。すなわち、超解像処理とノイズ低減処理の双方の処理を実行した結果としての画像を出力する画像処理装置である。

図１１に示す画像処理装置５００の、アップサンプル部５０１、動き推定／動き補償画像生成部５０２、動き判定部５０３は、図５の（ａ），（ｂ）の各回路と同じ構成である。すなわち、これらのアップサンプル部５０１、動き推定／動き補償画像生成部５０２、動き判定部５０３は、図２を参照して説明したノイズ低減処理を実行する画像処理装置５０と、図８を参照して説明した超解像処理を実行する画像処理装置３００とに共通する構成である。

図１１に示す回路の後段において、上記の共通構成の出力である前フレーム動き補償画像と、アップサンプル画像を入力して、ノイズ低減画像と超解像処理画像を生成して、さらにこれらをブレンドする処理によって最終的な出力画像を生成する。
図１１に示す画像処理装置５００の構成と処理について説明する。

図１１に示す画像処理装置５００は、処理対象となる低解像度画像（ｇ_ｎ）５２１を入力し、解像度を高める超解像処理を実行し、かつノイズ低減処理のなされた画像、すなわち、図１１に示すＳＲ＋ＮＲ処理画像（ｆ_ｎ）５２２を生成して出力する。

処理対象となる低解像度画像（ｇ_ｎ）５２１は、まず、アップサンプル部５０１に入力され、画素数の変換（画像拡大処理）が実行される。具体的には、アップサンプル部５０１では、入力画像の画素数を出力予定の画像（ＳＲ＋ＮＲ処理画像ｆ_ｎ５２２）の画素数に合わせる画像拡大処理、例えば１画素を複数画素に分割設定する処理を行う。すなわち、第１の解像度（低解像度）の入力画像を、第１の解像度（低解像度）より高い第２の解像度（高解像度）の画像の持つ画素数に合わせるアップサンプル処理を実行する。

動き推定／動き補償画像生成部５０２は、前フレームの処理において生成された処理画像ｆ_ｎ−１、アップサンプリングした低解像度画像（ｇ_ｎ）５２１間の動きの大きさを検出する。具体的には動きベクトルを計算する。さらに、検出した動きベクトルを利用して、前フレームの処理画像ｆ_ｎ−１に対する動き補償処理を行う。これにより前フレームの処理画像ｆ_ｎ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇ_ｎと被写体の位置が同じに設定された動き補償画像が生成される。なお、前フレームの処理画像ｆ_ｎ−１は、高解像度化処理である超解像処理と、ノイズ低減処理の両処理が実行された画像である。

動き判定部５０３では、動き補償（ＭＣ）処理により生成された動き補償前フレーム処理画像、及びアップサンプルした低解像度画像を比較して、動き補償（ＭＣ）がうまく適用できていない領域を検出する。例えば被写体自身が動いている場合、動き補償失敗領域が発生する。

前フレーム処理画像ｆ_ｎ−１の動き補償画像と、アップサンプリングした低解像度画像ｇ_ｎと被写体の位置が同じに設定された領域を動き補償成功領域とし、同じ位置に設定されなかった領域を動き領域失敗領域として区別した動き領域情報（αマップ［０：１］）を生成して出力する。動き領域情報（αマップ［０：１］）は、動き補償成功領域〜動き補償失敗領域の信頼度に応じて１〜０の範囲の値を設定したマップである。簡易的に例えば動き補償成功領域を１、動き補償失敗領域を０として設定したマップとして設定することも可能である。

図１１に示す画像処理装置５００において、後段の回路が動き補償画像、およびアップサンプル画像を入力して、入力画像の高解像度化処理としての超解像処理と、入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部５４０となる。すなわち出力画像生成部５４０は、図１０に示すＮＲフィルタ４０１とＳＲフィルタ４０２とその他の演算部を含む回路である。

超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部５４０は、図１１に示す統合フィルタ５０４と、その他の演算部によって構成される。演算部は、乗算器５０５，５０６，５０８，５０９、加算器５０７，５１０によって構成される。出力画像生成部５４０の処理について説明する。

動き推定／動き補償画像生成部５０２の生成した前フレーム処理画像ｆ_ｎ−１の動き補償画像［Ｗ_ｎｆ_ｎ−１］は、統合フィルタ（ポリフェーズフィルタ）５０４と、乗算器５０５に出力される。統合フィルタ（ポリフェーズフィルタ）５０４は、先に図８を参照して説明した統合フィルタ３０４と同様の処理を行う。すなわち、統合フィルタ（ポリフェーズフィルタ）５０４は、前フレーム処理画像ｆ_ｎ−１の動き補償画像［Ｗ_ｎｆ_ｎ−１ ^ＳＲ］を入力画像に対応する第１の解像度（低解像度）の画像の構成画素数まで低下させるダウンサンプル処理と、出力画像に対応する第２の解像度（高解像度）の画像の画素数に合わせるアップサンプル処理を実行する。統合フィルタ（ポリフェーズフィルタ）５０４は、例えばポリフェーズフィルタであり、位相毎に異なる値を畳み込むフィルタリング処理を行う。

乗算器５０５，５０６，５０９は、予め設定されたパラメータである乗算係数を乗算する。
乗算器５０５は、パラメータ（λγ_ＮＲ＋（１−λ））、
乗算器５０６は、パラメータ（（１−λ）γ_ＳＲ）、
乗算器５０９は、パラメータ（λ（１−αγ_ＮＲ）＋（１−λ）（１−α＋αγ_ＳＲ）、
これらの係数を乗算するための乗算器である。
なお、
γ_ＮＲは、ノイズ低減処理における帰還係数、
γ_ＳＲは、超解像処理における帰還係数、
λは、ノイズ低減処理画像と超解像処理画像のブレンド比率、
αは、αマップの係数（動き補償成功領域〜失敗領域＝１〜０）
である。
これらの値は、予め設定した値として各乗算器に入力する。

乗算器５０５は、動き推定／動き補償画像生成部５０２の生成した前フレーム処理画像ｆ_ｎ−１の動き補償画像［Ｗ_ｎｆ_ｎ−１］に対してパラメータ（λγ_ＮＲ＋（１−λ））を乗算する処理を行う。すなわち、
（λγ_ＮＲ＋（１−λ））×（Ｗ_ｎｆ_ｎ−１）
上記の乗算処理を実行する。

乗算器５０６は、統合フィルタ５０４からの出力（Ｈ^ＴＤ^ＴＤＨ（Ｗ_ｎｆ_ｎ−１）に対してパラメータ（（１−λ）γ_ＳＲ）を乗算する処理を行う。すなわち、
（（１−λ）γ_ＳＲ）×（Ｈ^ＴＤ^ＴＤＨ（Ｗ_ｎｆ_ｎ−１））
上記の乗算処理を実行する。

乗算器５０９は、アップサンプル部５０１からの出力（Ｈ^ＴＤ^Ｔｇ_ｎ）に対してパラメータ（λ（１−αγ_ＮＲ）＋（１−λ）（１−α＋αγ_ＳＲ）を乗算する処理を行う。すなわち、
（λ（１−αγ_ＮＲ）＋（１−λ）（１−α＋αγ_ＳＲ）×Ｈ^ＴＤ^Ｔｇ_ｎ
上記の乗算処理を実行する。

減算器５０７は、乗算器５０５の出力から乗算器５０６の出力を減算する処理を行う。すなわち、
（（λγ_ＮＲ＋（１−λ））×（Ｗ_ｎｆ_ｎ−１））−（（（１−λ）γ_ＳＲ）×（Ｈ^ＴＤ^ＴＤＨ（Ｗ_ｎｆ_ｎ−１）））
上記の減算処理を実行する。

乗算器５０８は、減算器５０７の出力に対して動き判定部の生成する動き補償成功〜失敗に応じたパラメータαを乗算する。すなわち、
α×（（（λγ_ＮＲ＋（１−λ））×（Ｗ_ｎｆ_ｎ−１））−（（（１−λ）γ_ＳＲ）×（Ｈ^ＴＤ^ＴＤＨ（Ｗ_ｎｆ_ｎ−１））））
＝α（λγ_ＮＲ＋（１−λ）−（１−λ）γ_ＳＲＨ^ＴＤ^ＴＤＨ）Ｗ_ｎｆ_ｎ−１
上記の乗算処理を実行する。

加算器５１０は、乗算器５０８の出力と、乗算器５０９の出力を加算する処理を行う。すなわち、
α（λγ_ＮＲ＋（１−λ）−（１−λ）γ_ＳＲＨ^ＴＤ^ＴＤＨ）Ｗ_ｎｆ_ｎ−１＋（λ（１−αγ_ＮＲ）＋（１−λ）（１−α＋αγ_ＳＲ）×Ｈ^ＴＤ^Ｔｇ_ｎ
上記の加算処理を実行する。
この結果が出力画像となる。

この図１１に示す画像処理装置５００の実行する処理を式で示すと以下のように表現することが可能である。

・・・（式１２）

図１１の下部にも上記式（式１２）と同様の式を示している。
図１１に示す式中に示す（１）〜（３）は、各乗算器に対する入力であり、先に説明した乗算パラメータである。すなわち、
（１）乗算器５０５のパラメータ（λγ_ＮＲ＋（１−λ））、
（２）乗算器５０６のパラメータ（（１−λ）γ_ＳＲ）、
（３）乗算器５０９のパラメータ（λ（１−αγ_ＮＲ）＋（１−λ）（１−α＋αγ_ＳＲ））、
これらのパラメータである。

図１１に示すように、式１２は、これらのパラメータと、以下の各値によって構成されている。
動き判定部の生成パラメータ：α
統合フィルタの処理：Ｈ^ＴＤ^ＴＤＨ、
前フレーム動き補償画像：（Ｗ_ｎｆ_ｎ−１）、
アップサンプル部の出力：Ｈ^ＴＤ^Ｔｇ_ｎ、

上記（式１２）は、先に説明した式（式１１）と同様の式である。すなわち、図１１に示す画像処理装置５００により、入力画像である低解像度画像（ｇ_ｎ）５２１は、高解像度化としての超解像処理と、ノイズ低減処理を実行した結果としてのＳＲ＋ＮＲ画像５２２として出力される。

［２．ノイズ低減画像と超解像処理画像のブレンド比率λの設定について］
上述した実施例において、
ノイズ低減処理回路（ＮＲ回路）を基本構成として、超解像処理回路（ＳＲ回路）を組み合わせた実施例として図７に示す画像処理装置２００、
超解像処理回路（ＳＲ回路）を基本構成として、ノイズ低減処理回路（ＮＲ回路）を組み合わせた実施例として図１１に示す画像処理装置５００、
これらの画像処理装置を説明した。

これらの画像処理装置はいずれも、ノイズ低減画像と超解像処理画像のブレンド比率λを設定して、このブレンド比率に応じて、各処理画像のブレンドを実行して最終的な処理画像を生成して出力している。すなわち、
ノイズ低減画像ｆ_ｎ ^ＮＲのブレンド比率をλ、
超解像処理画像ｆ_ｎ ^ＳＲのブレンド比率を（１−λ）、
このブレンド比率に応じて２つの処理画像をブレンドしている。ただしλ＝０〜１である。

このブレンド比率は、予めユーザによって設定された固定値を用いることも可能であるが、その他、以下のような調整地を設定して利用する構成としてもよい。
（ａ）ＩＳＯ感度による調整処理
例えば、動き判定に用いるノイズテーブルを使用して、
ＩＳＯが低い領域については、ノイズが多いことが推定されるので、ノイズ低減（ＮＲ）画像のブレンド比率を高くする（λ＝大）。

（ｂ）超解像処理（ＳＲ）において使用する画像の拡大比率に応じた調整処理
超解像処理（ＳＲ）において実行するアップサンプル部における画像拡大の拡大比率によってはエイリアスが除去できない場合もある。このような場合は、ノイズ低減（ＮＲ）画像のブレンド比率を高くする（λ＝大）。このブレンド設定とすることで超解像処理（ＳＲ）で除去できないエイリアスを取り除くことが可能となる。

（ｃ）画素値の分散値に基づいて画素単位で調整する
処理画像の画素値について、所定領域単位で分散値を算出し、
分散の低い領域は、平坦領域であると判断し、ノイズ低減（ＮＲ）画像のブレンド比率を高くする（λ＝大）。
一方、分散の高い領域は、エッジ領域やテクスチャ領域であると判断し、ノイズ低減（ＮＲ）画像のブレンド比率を低くし、超解像処理画像のブレンド比率を高くする（λ＝小）。
例えば上記のようなブレンド比率を設定して、ノイズ低減と超解像処理を併せて実行した画像を生成して出力することができる。

すなわち、図７、図１１を参照して説明した画像処理装置における出力画像生成部は、超解像処理画像とノイズ低減処理画像のブレンド比率を、
（ａ）入力画像の画像領域単位で算出したＩＳＯ感度、
（ｂ）前記アップサンプル部における入力画像に対する画像拡大比率、
（ｃ）入力画像の画像領域単位の画素値の分散値、
少なくとも上記（ａ）〜（ｃ）のいずれかに応じて調整する処理を実行する構成としてもよい。例えば図７、図１１には示していないが、画像処理装置の制御部において、上記（ａ）〜（ｃ）の値を算出し、予め設定したアルゴリズムに従って算出値に応じたブレンド比率λを設定して出力画像生成部内の演算部に入力する。

［３．画像処理装置のハードウェア構成例について］
最後に、図１２を参照して、上述した処理を実行する画像処理装置の１つのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した超解像処理、ノイズ低減処理を併せた画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３には、ＣＰＵ９０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４により相互に接続されている。

ＣＰＵ９０１はバス９０４を介して入出力インタフェース９０５に接続され、入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。ＣＰＵ９０１は、入力部９０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部９０７に出力する。

入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、ＣＰＵ９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され記憶される。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、超解像処理とノイズ低減処理を併せて実行する装置および方法が実現される。すなわち、低解像度画像を入力し、高解像度化としての超解像処理を実行する構成において、ノイズ低減処理も併せて実行する。具体的には、例えば、入力画像を高い解像度の画像の持つ画素数に合わせるアップサンプル処理を実行し、アップサンプル画像と第２の解像度を持つ参照画像との差分情報を利用して、参照画像をアップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する。この動き補償画像とアップサンプル画像、または動き補償画像とアップサンプル画像をブレンドしたブレンド画像とアップサンプル画像を入力し、例えば統合フィルタ処理と演算処理によって超解像処理とノイズ低減処理を併せて実行した画像を生成する。本構成により超解像処理とノイズ低減処理を併せて実行した画像を生成して出力することができる。

１０ 超解像処理装置
１１ アップサンプル部
１２ 動き推定／動き補償画像生成部
１３ 動き判定部
１４ ブレンド処理部
１５ ボケ付加部
１６ ダウンサンプル部
１７ 加算器
１８ アップサンプル部
１９ 逆ボケ付加部
２０ 乗算器
２１ 加算器
５０ ノイズ低減処理回路
５１ 動き推定／動き補償画像生成部
５２ 動き判定部
５３，５４ 乗算器
５５ 加算器
７１ 入力画像
７２ ＮＲ処理画像
１００ 画像処理装置
１０１ アップサンプル部
１０２ 動き推定／動き補償画像生成部
１０３ 動き判定部
１０４ ブレンド処理部
１０５，１０６ 乗算器
１０７ 加算器
１１１ 入力画像
１１２ 処理画像
１３１ 低解像度画像
１３２ ＳＲ処理画像
１５０ 画像処理装置
１５１ アップサンプル部
１５２ 動き推定／動き補償画像生成部
１５３ 動き判定部
１５４ ブレンド処理部
１７１ 統合フィルタ（ポリフェーズフィルタ）
１７２，１７４ 乗算器
１７３，１７５ 加算器
１８１ ＮＲフィルタ
１８２ ＳＲフィルタ
２００ 画像処理装置
２０１ アップサンプル部
２０２ 動き推定／動き補償画像生成部
２０３ 動き判定部
２０４ ブレンド処理部
２０５ 統合フィルタ（ポリフェーズフィルタ）
２１１〜２１３ 乗算器
２１４，２１５ 加算器
２２０ 出力画像生成部
２５１ 低解像度画像
２５２ ＳＲ＋ＮＲ処理画像
３００ 画像処理装置
３０１ アップサンプル部
３０２ 動き推定／動き補償画像生成部
３０３ 動き判定部
３０４ 統合フィルタ（ポリフェーズフィルタ）
３０５，３０７，３０８ 乗算器
３０６，３０９ 加算器
３２１ 低解像度画像
３２２ ＳＲ処理画像
４０１ ＮＲフィルタ
４０２ ＳＲフィルタ
５００ 画像処理装置
５０１ アップサンプル部
５０２ 動き推定／動き補償画像生成部
５０３ 動き判定部
５０４ 統合フィルタ（ポリフェーズフィルタ）
５０５，５０６，５０８，５０９ 乗算器
５０７，５１０ 加算器
５２１ 低解像度画像
５２２ ＳＲ＋ＮＲ処理画像
５４０ 出力画像生成部
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ バス
９０５ 入出力インタフェース
９０６ 入力部
９０７ 出力部
９０８ 記憶部
９０９ 通信部
９１０ ドライブ
９１１ リムーバブルメディア

Claims (10)

1. 第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
   前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
   前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理部と、
   前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部を有する画像処理装置。
2. 第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル部と、
   前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成部と、
   前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成部を有する画像処理装置。
3. 前記出力画像生成部は、
   前記ブレンド画像、または前記動き補償画像を前記第１の解像度の構成画素数まで低下させるダウンサンプル処理と、前記第２の解像度の画素数に合わせるアップサンプル処理を実行する統合フィルタと、
   演算部によって構成され、
   前記演算部は、
   前記ブレンド画像、または前記動き補償画像と、前記統合フィルタの出力と、前記アップサンプル部の出力とを入力とした演算処理を実行して、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する請求項１または２に記載の画像処理装置。
4. 前記統合フィルタは、位相ごとに異なる値を畳み込むポリフェーズフィルタによって構成される請求項３に記載の画像処理装置。
5. 前記出力画像生成部は、
   超解像処理画像とノイズ低減処理画像のブレンド比率を前記演算部に入力するパラメータによって設定する構成である請求項１または２に記載の画像処理装置。
6. 前記出力画像生成部は、
   超解像処理画像とノイズ低減処理画像のブレンド比率を、
   （ａ）入力画像の画像領域単位で算出したＩＳＯ感度、
   （ｂ）前記アップサンプル部における入力画像に対する画像拡大比率、
   （ｃ）入力画像の画像領域単位の画素値の分散値、
   少なくとも上記（ａ）〜（ｃ）のいずれかに応じて調整する処理を実行する請求項５に記載の画像処理装置。
7. 画像処理装置において実行する画像処理方法であり、
   アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
   動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
   ブレンド処理部が、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成するブレンド処理ステップと、
   出力画像生成部が、前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行する画像処理方法。
8. 画像処理装置において実行する画像処理方法であり、
   アップサンプル部が、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行するアップサンプル処理ステップと、
   動き補償画像生成部が、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成する動き補償画像生成ステップと、
   出力画像生成部が、前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行する画像処理方法。
9. 画像処理装置において画像処理を実行させるプログラムであり、
   アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
   動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
   ブレンド処理部に、前記アップサンプル画像と前記動き補償画像を画像領域単位で比較し、領域単位の画素値一致度が高い領域ほど参照画像のブレンド比率を高く設定して、前記アップサンプル画像と前記参照画像とのブレンド処理を実行してブレンド画像を生成させるブレンド処理ステップと、
   出力画像生成部に、前記ブレンド画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成する出力画像生成ステップを実行させるプログラム。
10. 画像処理装置において画像処理を実行させるプログラムであり、
    アップサンプル部に、第１の解像度の入力画像を、前記第１の解像度より高い第２の解像度の画像の持つ画素数に合わせるアップサンプル処理を実行させるアップサンプル処理ステップと、
    動き補償画像生成部に、前記アップサンプル画像と、前記第２の解像度を持つ参照画像との差分情報を利用して、前記参照画像を前記アップサンプル画像の被写体位置に合わせる補正処理により動き補償画像を生成させる動き補償画像生成ステップと、
    出力画像生成部に前記動き補償画像、および前記アップサンプル画像を入力して、前記入力画像の高解像度化処理としての超解像処理と、前記入力画像のノイズ低減処理を実行し、超解像処理画像とノイズ低減処理画像のブレンド画像を生成させる出力画像生成ステップを実行させるプログラム。

Images