JP2018148513A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ゲイン処理により画像内の位置によってノイズ量に違いが生じている場合でも、高精度の類似画素検出を実現可能にすることを課題とする。【解決手段】高画質化処理部（１０７）は画素位置に応じたゲイン値によるゲイン処理後の複数の画像を用いて高画質化処理を行う。テンプレート設定部（１２１）は、ゲイン処理後の基準画像の着目画素を含む領域をテンプレートに設定する。サーチエリア設定部（１２２）は、ゲイン処理後の参照画像の中で着目画素の画素位置に基づく領域をサーチエリアとして設定する。類似度算出部（１２３）は、サーチエリア内の各画素位置でテンプレートとの類似度を算出する。信頼度算出部（１２４）は、基準画像の着目画素とサーチエリアの中の各画素位置の各ゲイン値の差に基づき類似度の信頼度を算出する。出力値算出部（１２５）は、類似度と信頼度とに基づいて出力画像の画素値を算出する。【選択図】図１

Description

本発明は、撮像等された画像を処理する画像処理装置、画像処理方法、プログラムに関する。

従来、デジタルカメラ等による撮像画像に対して施される画像処理として、その撮像画像の前後に撮影された複数の画像の情報を用いた高画質化処理が知られている。
また例えば、特許文献１には、連続して撮影された第１，第２の画像を基に、第２の画像に対してブロック単位の動き補償を行い、撮影条件に基づくノイズ量から算出された加算重みを用いて第１の画像と合成することでノイズ量を低減する技術が開示されている。

特開２００９−１６５１６８号公報

前述した高画質化処理では、連続して撮像された複数枚の画像のうち、処理対象とされた画像の中の着目画素に類似した類似画素を、処理対象の画素の前後の複数の画像の中から検出するような処理が行われる。そして、高画質化処理では、着目画素と検出された類似画素とを基に、ノイズが低減された画素の出力値を得るような画像処理が行われる。

ここで、デジタルカメラ等では、撮像画像内の位置によって異なるゲイン値を用いたゲイン処理が行われることがある。この場合、撮像画像内の位置によってノイズ量も異なるようになり、その撮像画像内の位置によるノイズ量の違いが、高画質化処理において類似画素を検出する際の検出精度に影響を及ぼし、類似画素の検出精度が低下することがある。そして、類似画素の検出精度の低下により例えば誤った類似画素が検出されると、その誤検出された類似画素を用いた画像処理が行われることになり、出力画像はノイズ低減効果の低い画像になることがある。なお、特許文献１に開示された技術では、撮像画像毎のノイズ量の違いは考慮されているものの、同一画像内でのノイズ量の違いは考慮されていないため、画像内の位置によってノイズ量に違いが生じる場合にノイズ低減効果が低下してしまう。

そこで本発明は、ゲイン処理により画像内の位置によってノイズ量に違いが生じている場合でも、高い精度で類似画素を検出可能にすることを目的とする。

本発明は、画素位置に応じたゲイン値によるゲイン処理が施された複数の画像を用いて所定の画像処理を行って出力画像を生成する画像処理装置であって、前記ゲイン処理が施された複数の画像のうち処理の対象となされた基準画像の中の着目画素を含む領域を、テンプレートとして設定する第１の設定手段と、前記ゲイン処理が施された複数の画像のうち前記基準画像に対する参照画像の中で前記着目画素の画素位置に基づく領域を、サーチエリアとして設定する第２の設定手段と、前記設定されたサーチエリア内の各画素位置で、前記テンプレートとの類似度を算出する類似度算出手段と、前記基準画像の中の前記着目画素の画素位置に応じたゲイン値と前記参照画像の前記サーチエリアの中の各画素位置に応じたゲイン値との差異に基づいて、前記類似度の信頼度を算出する信頼度算出手段と、前記類似度と前記信頼度とに基づいて、前記出力画像の画素値を算出する出力値算出手段と、を有することを特徴とする。

本発明によれば、ゲイン処理により画像内の位置によってノイズ量に違いが生じている場合でも、高い精度で類似画素を検出可能となる。

本実施形態のデジタルカメラの概略構成を示す図である。 基準画像と参照画像及び着目画素と対応画素の説明に用いる図である。 周辺光量補正のゲイン特性とノイズ量の違いの説明に用いる図である。 高画質化処理のフローチャートである。 第１の検出ステップのフローチャートである。 縮小された基準画像と参照画像の説明に用いる図である。 第２の検出ステップのフローチャートである。 テンプレートとサーチエリアの説明に用いる図である。 類似度算出の説明に用いる図である。 類似度算出結果の例を示す図である。 周辺光量補正のゲイン特性を示した図である。 信頼度の算出方法の一例を示した図である。 評価値算出結果の一例を示した図である。 テンプレートの変形処理の概要を示した図である。 信頼度マップによる信頼度算出例を示した図である。 調整係数の算出方法の例を示した図である。

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
本実施形態の画像処理装置は、例えば、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどの各種カメラに適用可能である。以下、本実施形態の画像処理装置の一例として、連続して撮像した複数の撮像画像の中の一枚の画像に対し、その前後の撮像画像の情報を用いて高画質化処理を施す機能を備えたデジタルカメラを例に挙げて説明する。

図１（ａ）は、本実施形態のデジタルカメラ１００の概略構成を示したブロック図である。
撮像レンズ１０１は、ズームレンズ、フォーカスレンズを含むレンズ群である。絞り１０２は、撮像レンズ１０１からの入射光量を調節するのに用いられる。
撮像素子１０３は、撮像レンズ１０１を介して入射されて撮像面上に形成された光学像等を電気信号に変換するためのＣＣＤやＣＭＯＳ素子である。なお、図示は省略しているが、撮像素子１０３の撮像面上には、入射光をＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に分離するためのカラーフィルタが設けられている。本実施形態の場合、カラーフィルタは、Ｒ，Ｇ，Ｂの各色成分のフィルタがいわゆるベイヤー配列と呼ばれる並び順に配置されている。
Ａ／Ｄ変換器１０４は、撮像素子１０３から出力されたアナログ信号をデジタルデータに変換するために用意されている。Ａ／Ｄ変換器１０４から出力されるデジタルデータよりなる画像は一般にＲＡＷ画像と呼ばれ、このＲＡＷ画像のデータは一時記憶メモリであるＲＡＭ１０５に保存される。なお、ベイヤー配列のＲＡＷ画像では、１画素につきＲ，Ｇ，Ｂのうち１色しかないため、以下の説明で述べている１画素は、Ｒ，Ｇ，Ｂの何れかの１色に対応した画素である。

周辺光量補正部１０６は、ＲＡＭ１０５から読み出されたＲＡＷ画像の各画素値に対して、画像中心からの距離に応じたゲイン値を乗算することによる周辺光量補正処理を行う。この周辺光量補正処理後の画像はＲＡＭ１０５に保存される。本実施形態における周辺光量補正処理の詳細については後述する。
高画質化処理部１０７は、ＲＡＭ１０５から、時間的に連続した複数枚の周辺光量補正処理後の画像を読み出し、それら複数枚の画像を用いてノイズを低減等するような所定の画像処理を行う。本実施形態の高画質化処理では、例えばいわゆるＮＬＭ（Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ）法に準ずる手法を用いて、画像のノイズ低減を実現している。本実施形態における高画質化処理部１０７は、図１（ｂ）に示すように、例えば、テンプレート設定部１２１、サーチエリア設定部１２２、類似度算出部１２３、信頼度算出部１２４、出力値算出部１２５を有する。高画質化処理部１０７の詳細な構成と動作の説明は後述する。この高画質化処理後の画像はＲＡＭ１０５に保存される。
現像処理部１０８は、ＲＡＭ１０５から読み出した高画質化処理後のＲＡＷ画像に対し、例えばエッジ強調、歪み補正処理等を施す。現像処理が施された後の画像データは、外部メモリ制御部１０９を介して外部メモリ１１０に保存される。

以下、高画質化処理部１０７による複数枚の画像を用いた所定の画像処理の概要について、図２（ａ）〜図２（ｃ）を用いて説明する。
例えば、複数枚の画像を用いてノイズ低減等の高画質化処理を行うためには、処理の対象となる画像内の或る絵柄と類似した領域を、他の参照される複数の画像の中から検出する必要がある。図２（ａ)は、ノイズ低減等の高画質化処理の対象となる画像を示した図である。以下、この高画質化処理の対象となる画像を基準画像と呼ぶ。図２（ｂ）と図２（ｃ）は、基準画像に続いて順に連続して撮像された画像を示した図である。これらの画像は、基準画像に対する参照画像であり、以下、基準画像の次に撮像された図２（ｂ）に示す画像を参照画像Ｐ１、この参照画像Ｐ１の次に撮像された図２（ｃ）に示す画像を参照画像Ｐ２と呼ぶことにする。

基準画像中の着目画素Ｔに対する高画質化処理を行う場合、高画質化処理部１０７は、着目画素Ｔに対応した画素（以下、対応画素と呼ぶ。）を、参照画像Ｐ１と参照画像Ｐ２からそれぞれ検出する。図２（ｂ）では図２（ａ）の着目画素Ｔに対応した画素として対応画素Ｃ１が例示され、図２（ｃ）では図２（ａ）の着目画素Ｔに対応した画素として対応画素Ｃ２が例示されている。そして、詳細は後述するが、高画質化処理部１０７は、着目画素Ｔと参照画像Ｐ１から検出された対応画素Ｃ１及び参照画像Ｐ２から検出された対応画素Ｃ２の各画素値を用いて、着目画素Ｔの画素位置における高画質化処理後の出力値（出力画素値）を求める。

ただし、これら基準画像と参照画像Ｐ１及び参照画像Ｐ２は、それぞれの画像が撮像された時刻が異なる。このため、例えば被写体が移動体である場合には、基準画像内の被写体等の位置と参照画像Ｐ１や参照画像Ｐ２の中の同被写体等の位置とは一致しない。また、撮影時にいわゆる手ぶれが生じている場合には、それら基準画像と参照画像Ｐ１及び参照画像Ｐ２との間で画像間の位置ずれが生ずる。したがって、基準画像内の着目画素Ｔの高画質化処理を行う場合には、被写体の移動や手ぶれに起因した画像間の位置ずれ量を考慮して、参照画像Ｐ１及び参照画像Ｐ２からそれぞれ対応画素を検出する必要がある。

本実施形態の場合、対応画素の位置検出を行うために、高画質化処理部１０７は、先ず第１の検出ステップの処理を実施する。第１の検出ステップの処理は、手ぶれや被写体の移動等に起因した画像間の位置ずれを考慮し、各参照画像の中で、着目画素Ｔとその周辺の複数画素からなる画像領域の絵柄に類似した画像領域（以下、類似画像領域と呼ぶ。）の大凡の位置を検出する処理である。なお、図２（ａ）には、着目画素Ｔの周囲の複数画素からなる領域が、着目画素Ｔを含む画像領域２０１となされている例が示されている。また、図２（ｂ）には、参照画像Ｐ１において対応画素Ｃ１の位置検出を行うための類似画像領域２１１の例が示され、同様に、図２（ｃ）には、参照画像Ｐ２の中の対応画素Ｃ２の位置検出を行うための類似画像領域２２１の例が示されている。また、本実施形態の場合、詳細は後述するが、第１の検出ステップの処理の際には、基準画像と参照画像をそれぞれ縮小した画像を用いることにより、検出処理の効率化を図っている。第１の検出ステップの処理の詳細については後述する。

次に、高画質化処理部１０７は、第２の検出ステップの処理を実施する。第２の検出ステップの処理は、第１の検出ステップの処理で検出した類似画像領域内の各画素位置の画素と、着目画素Ｔとの類似度を検出（算出）する処理である。第２の検出ステップの処理では、類似度の高い画素の画素位置として、類似度が上位の所定数の画素（例えば上位の５画素）の各画素位置が検出され、それらが対応画素の画素位置となされる。第２の検出ステップの処理の詳細については後述する。

ところで、撮像レンズ１０１は、その光学特性により、光軸に対して直交する方向に離れるほど光量（明るさ）が低下し、このため特に撮像画像の画像辺縁部で光量低下が大きくなる、いわゆる周辺光量低下が生ずる。なお、光量低下が目立つ範囲や光量低下量は、使用されている撮像レンズ１０１の口径や絞り値などの撮影条件によっても変化する。このような周辺光量低下により、撮像画像の各画素値は、光軸に直交する方向に離れた画素位置になるほど低下し、特に画像中心部の画素と画像辺縁部の画素とではそれらの画素値に大きな差が生ずることになる。したがって、例えば周辺光量低下が大きい場合、手ぶれや被写体の移動に起因した位置ずれによって類似画像領域が画像辺縁部に位置するようになると、その画像辺縁部での類似画像領域の検出精度は低下することになる。逆に、着目画素が画像辺縁部に在り、類似画像領域が画像中心部に位置する場合にも、類似画像領域の検出精度が低下する可能性がある。

この場合、撮像画像の各画素に対し、光軸に直交する方向の距離に応じたゲイン値を乗算するゲイン処理により周辺光量低下を補正しておけば、周辺光量低下による明るさの違いに起因して撮像画像の各画素位置間で生ずる画素値の差を少なくすることができる。したがって、基準画像と各参照画像に周辺光量低下の補正処理を施しておけば、手ぶれや被写体の移動に起因した位置ずれにより類似画像領域と着目画素の位置が光軸に直交する方向に離れている場合でも、類似画像領域検出精度の低下を抑えることができる。

図３は、周辺光量補正で用いられるゲイン値の一例を示す図である。図３の横軸は光軸に対応した画像中心からの距離（いわゆる像高）を表し、縦軸はゲイン値を表しており、周辺光量補正で用いるゲイン値は画像中心（光軸）からゲイン処理の対象となる画素位置までの距離（像高）に応じて一意に決められている。この図３の曲線３００で示すように、周辺光量補正で用いられるゲイン値は、画像中心から離れるほど、つまり光量落ちの顕著な画像辺縁部に近づくほど大きな値となる。なお、図３の横軸上の距離Ｌｔは、図２（ａ）の基準画像の画像中心Ｏから着目画素Ｔの画素位置までの像高を示している。また、図３の距離Ｌｃ１は図２（ｂ）の参照画像Ｐ１の画像中心Ｏから対応画素Ｃ１の画素位置までの像高を、距離Ｌｃ２は図２（ｃ）の参照画像Ｐ２の画像中心Ｏから対応画素Ｃ２の画素位置までの像高を示している。また、図３の縦軸上のゲイン値ＧＮｔ、ＧＮｃ１、ＧＮｃ２は、図２（ａ）の着目画素Ｔ、図２（ｂ）の対応画素Ｃ１、図２（ｃ）の対応画素Ｃ２のそれぞれの画素位置における周辺光量補正のためのゲイン値を示している。例えば、図２（ｃ）の対応画素Ｃ２における画素値が１０００で、周辺光量補正処理のゲイン値ＧＮｃ２が２．０であるとすると、周辺光量補正処理後の対応画素Ｃ２の画素値は２０００となる。

一方、周辺光量低下の補正処理では、撮像画像の各画素に対し、画像中心からの距離に応じた異なるゲイン値を乗算するゲイン処理が行われるため、撮像画像内の各画素位置におけるノイズ成分もゲイン処理により変化することになる。図３の例で説明すると、例えば距離Ｌｔの画素位置の着目画素Ｔに対してはゲイン値ＧＮｔによるゲイン処理がなされ、距離Ｌｃ２の画素位置の対応画素Ｃ２に対してはゲイン値ＧＮｃ２によるゲイン処理がなされる。このため、それら着目画素Ｔと対応画素Ｃ２の各画素位置におけるノイズ量も、ゲイン値ＧＮｔとゲイン値ＧＮｃ２との差３０１に相当する差異が生ずることになる。一例として、ゲイン値ＧＮｔが１．１でゲイン値ＧＮｃ２が２．２であった場合、周辺光量補正前と比べ、それぞれの画素値は約１．１倍と約２．２倍に増加し、同様にノイズ量も増加することになり、各画素位置によってノイズ量に差異が生じてしまう。

ここで、前述した第１の検出ステップの場合は、後述するように画像の縮小処理が行われ、その画像の縮小処理によりノイズ量も低減されるため、類似画像領域検出処理の際、画素位置によるノイズ量の差異による影響は少ない。
一方で、第２の検出ステップでは、各参照画像から検出された類似画像領域内の各画素位置の画素と、着目画素Ｔとの類似度を算出する処理が行われる。言い換えると、第２の検出ステップにおける類似度算出処理は、一画素毎の画素単位で行われる処理であるため、画像の各画素位置におけるノイズ量の違いによる影響を受け易い。このため、前述のように周辺光量補正のためにゲイン処理を行ったことで画像内の位置によってノイズ量に違いが生じている場合には、類似度の算出精度が低下してしまう可能性がある。

そして、このような画素位置によるノイズ量の違いに起因した類似度算出の精度低下は、高画質化処理の際に参照画素の中から対応画素を決める処理に影響を与えてしまう。この場合、高画質化処理において、例えば本来は参照すべきでない画素位置の画素値を用いて出力値を算出してしまうようなことが起こる可能性がある。このように、本来は参照すべきでない画素位置の画素値を用いて出力値を算出してしまうと、ノイズ低減効果の低下などの弊害が発生することになる。すなわち、類似度の算出精度が低下すると、高画質化処理におけるノイズ低減処理の精度も低下することになり、その結果、高画質化処理によるノイズ低減効果の高い高品質な出力画像が得られなくなる虞がある。

そこで、本実施形態では、画素位置毎のノイズ量の違いによる高画質化処理への影響を低減するために、ゲイン処理で使用する画素位置毎のゲイン値に基づく信頼度を加味した高画質化処理を行うようになされている。

＜第１の実施形態＞
図４は、第１の実施形態の高画質化処理部１０７における処理の詳細を示すフローチャートである。図４のフローチャートでは、ステップＳＴ４０１〜ステップＳＴ４０５をそれぞれＳＴ４０１〜ＳＴ４０５と略記する。また図４のフローチャートの処理は、ハードウェア構成により実行されてもよいし、ＣＰＵ等がプログラムを実行することにより実現されてもよい。これらのことは後述する他のフローチャートにおいても同様とする。以下、図１（ｂ）と図４以降の各図を参照しながら、高画質化処理部１０７で行われる詳細な処理について説明する。

図４のフローチャートのＳＴ４０１において、高画質化処理部１０７のテンプレート設定部１２１は、ＲＡＭ１０５に保存されている周辺光量補正済みのＲＡＷ画像の中から、一枚の画像を処理対象の基準画像として読み出す。また、サーチエリア設定部１２２は、ＲＡＭ１０５に保存されている周辺光量補正済みのＲＡＷ画像の中から、基準画像に対して時間軸上で後や前等に連続して撮像された複数枚の画像を参照画像として読み出す。

次のＳＴ４０２において、高画質化処理部１０７は、読み出された複数枚の参照画像の各々について、基準画像の着目画素Ｔとその周辺の複数画素からなる画像領域の絵柄に類似した類似画像領域の大凡の位置を検出する第１の検出ステップの処理を実行する。第１の検出ステップの処理は、テンプレート設定部１２１、サーチエリア設定部１２２、類似度算出部１２３により行われる。

図５は、図４のＳＴ４０２の第１の検出ステップの詳細なフローチャートである。
図５のフローチャートのＳＴ５０１において、テンプレート設定部１２１は、ＲＡＭ１０５から読み出された基準画像から縮小画像（以下、縮小基準画像と呼ぶ。）を生成する。また、サーチエリア設定部１２２は、ＲＡＭ１０５から読み出された複数の参照画像からそれぞれ縮小画像（以下、それらを縮小参照画像と呼ぶ。）を生成する。縮小画像の生成処理は、基準画像と各参照画像のそれぞれについて、水平方向と垂直方向で予め決められた間隔毎に画素を間引くような処理となされる。

次のＳＴ５０２において、テンプレート設定部１２１は、ＳＴ５０１による縮小基準画像の各画素位置の中で、縮小前の着目画素Ｔの座標（Ｘｔ，Ｙｔ）に対応した画素位置の座標（Ｘｔｓ，Ｙｔｓ）を求める。縮小処理における水平方向と垂直方向の間引き画素数をそれぞれＮｈ、Ｎｖとすると、縮小基準画像の座標（Ｘｔｓ，Ｙｔｓ）におけるＸｔｓ値とＹｔｓ値は、式（１）、式（２）により算出される。なお、式（１）、式（２）のfloor()は、カッコ()内の計算結果から整数値を抽出する関数である。

Ｘｔｓ＝floor（Ｘｔ／Ｎｈ） ・・・・式（１）
Ｙｔｓ＝floor（Ｙｔ／Ｎｖ） ・・・・式（２）

次のＳＴ５０３において、テンプレート設定部１２１は、縮小基準画像内の着目画素Ｔの座標（Ｘｓｔ，Ｙｔｓ）を中心とし、その周囲の複数画素を含む所定の大きさの画像領域を、類似画像探索のリファレンスとなる第１のテンプレートとして設定する。第１のテンプレートのサイズは、例えば１６×１６画素の大きさとする。図６（ａ）は、縮小基準画像内で着目画素Ｔの座標（Ｘｔｓ，Ｙｔｓ）を基に設定された第１のテンプレート６０１を示している。なお、第１のテンプレートのサイズは、縮小処理の際の水平方向、垂直方向の間引き画素数Ｎｈ、Ｎｖの値に応じて多少の調整が行われてもよい。

次のＳＴ５０４において、サーチエリア設定部１２２は、ＳＴ５０１による縮小参照画像内で、座標（Ｘｔｓ，Ｙｔｓ）を中心とし、その周囲の複数画素を含む所定の大きさの画像領域を、第１のサーチエリアとして設定する。第１のサーチエリアの大きさは、基準画像と参照画像がそれぞれ撮像された際の撮影時間間隔に応じて決定する。例えば撮影時間間隔が十分に短い場合には、手ぶれや被写体の移動等に起因した画像間の位置ずれの影響が小さいと推測できるため、第１のサーチエリアは、例えば６４×６４画素程度の大きさに設定される。一方、撮影時間間隔が長い場合には、手ぶれや被写体の移動等に起因した画像間の位置ずれの影響が大きいと推測できるため、第１のサーチエリアは、例えば２５６×２５６画素程度の大きさに設定される。図６（ｂ）は縮小された参照画像Ｐ１の中で着目画素Ｔに対応した画素位置Ｔｐの座標（Ｘｔｓ，Ｙｔｓ）を基に設定された第１のサーチエリア６１１を示している。同様に、図６（ｃ）は、縮小された参照画像Ｐ２の中で着目画素Ｔに対応した画素位置Ｔｐの座標（Ｘｔｓ，Ｙｔｓ）を基に設定された第１のサーチエリア６２１を示している。なお、第１のテンプレートの場合と同様に、第１のサーチエリアの大きさについても、縮小画像の際の間引き画素数Ｎｈ、Ｎｖの値に応じて多少の調整が行われてもよい。

次のＳＴ５０５において、高画質化処理部１０７の類似度算出部１２３は、第１のサーチエリア内の各画素位置について、第１のテンプレートを１画素ずつ移動させながら相関値、例えば差分絶対値和を算出する。そして、類似度算出部１２３は、算出した差分絶対値和が最も小さくなる画素位置を、手ぶれや被写体の移動等により位置ずれした、着目画素Ｔを含む画像領域に類似した類似画像領域の中心座標とする。

次のＳＴ５０６において、ＳＴ５０５で求めた類似画像領域の中心座標を（Ｘｒｓ、Ｙｒｓ）とすると、類似度算出部１２３は、式（３）、式（４）により、縮小前の参照画像内において対応する座標（Ｘｒ，Ｙｒ）を算出する。この座標（Ｘｒ，Ｙｒ）は、後述する第２の検出ステップの処理において、縮小されていない各参照画像に対してそれぞれ設定される第２のサーチエリアの中心座標（Ｘｒ，Ｙｒ）となされる。なお、式（３）のＮｈと式（４）のＮｖは、それぞれ縮小画像生成時の水平、垂直方向の間引き画素数である。

Ｘｒ＝Ｘｒｓ＊Ｎｈ ・・・・式（３）
Ｙｒ＝Ｙｒｓ＊Ｎｖ ・・・・式（４）

高画質化処理部１０７は、以上のようにして、手ぶれや被写体の移動等により位置ずれした着目画素Ｔを含む画像領域に類似した類似画像領域の中心座標を検出する。そして、ＳＴ５０６の後、高画質化処理部１０７は、図４のＳＴ４０３に処理を進める。

図４のフローチャートに説明を戻す。ＳＴ４０３において、高画質化処理部１０７は、Ｓ４０２で検出した類似画素領域の中心座標を探索中心とし、基準画像の着目画素Ｔと、参照画像Ｐ１及び参照画像Ｐ２の類似画像領域内の各画素との類似度を算出する第２の検出ステップの処理を行う。第２の検出ステップの処理は、テンプレート設定部１２１、サーチエリア設定部１２２、類似度算出部１２３により行われる。

図７は、図４のＳＴ４０３の第２の検出ステップの詳細なフローチャートである。
図７のフローチャートのＳＴ７０１において、テンプレート設定部１２１は、基準画像の着目画素Ｔを含む画像領域を、類似度算出のリファレンスとなる第２のテンプレートとして設定する。次のＳＴ７０２において、サーチエリア設定部１２２は、参照画像Ｐ１と参照画像Ｐ２の中に、前述した類似画素領域の中心座標を基に、類似度算出の対象エリアとなる第２のサーチエリアをそれぞれ設定する。

ここで、第１の検出ステップでは、縮小基準画像と各縮小参照画像に対し、第１のテンプレート、第１のサーチエリアを設定したが、第２の検出ステップでは、縮小前の基準画像と各参照画像に対し、第２のテンプレート、第２のサーチエリアが設定される。第２の検出ステップの場合、第２のテンプレートは、縮小前の基準画像の着目画素Ｔの座標（Ｘｔ，Ｙｔ）を基に設定される。また、第２のサーチエリアは、第１の検出ステップで各参照画像についてそれぞれ求められた類似画像領域の中心座標（Ｘｒ，Ｙｒ）を基に設定される。さらに、第２の検出ステップの場合、第２のテンプレートのサイズは例えば３×３画素の大きさ、第２のサーチエリアのサイズは例えば５×５画素の大きさとなされる。なお、これら第１のテンプレートと第２のサーチエリアのサイズは一例であり、この例に限定されるものではない。

図８（ａ）〜図８（ｃ）は、第２の処理ステップにおいて設定される第２のテンプレートと第２のサーチエリアの関係を示す図である。図８（ａ）は、基準画像内の着目画素Ｔの座標（Ｘｔ，Ｙｔ）を中心として設定された第２のテンプレート８０１の例を示している。図８（ｂ）は、参照画像Ｐ１について第１の検出ステップで求めた類似画像領域の中心座標（ここでは、中心座標（Ｘｒ１，Ｙｒ１）とする。）を基に設定された第２のサーチエリア８１１の例を示している。同様に、図８（ｃ）は、参照画像Ｐ２について第１の検出ステップで求めた類似画像領域の中心座標（ここでは、中心座標（Ｘｒ２，Ｙｒ２）とする。）を基に設定された第２のサーチエリア８２１の例を示している。

図７のフローチャートに説明を戻す。ＳＴ７０２の次のＳＴ７０３において、類似度算出部１２３は、第２のサーチエリア内の各探索対象画素について第２のテンプレートとの類似度を算出する。以下、第２のサーチエリア内の探索対象画素の設定方法と類似度の算出処理について、図９（ａ）と図９（ｂ）を参照して説明する。図９（ａ）は第２のサーチエリア９０２と第２のテンプレート９０１、図９（ｂ）は第２のテンプレート９０１を例示した図である。図９（ａ）に示すように、第２のサーチエリア９０２は、前述した類似画像領域の中心座標の画素９２１を中心とした例えば５×５画素のサイズで設定されている。また、図９（ａ）、図９（ｂ）に示すように、第２のテンプレート９０１は着目画素９１１を中心とした例えば３×３画素のサイズで設定されている。

ここで、本実施形態の場合、撮像画像はベイヤー配列に基づく画像であるため、撮像画像の各画素はＲ，Ｇ，Ｂの各色のうちの１色に対応した画素となる。このため、類似度を算出する際に第２のサーチエリア９０２内で探索対象となされる画素（探索対象画素）は、第２のテンプレート９０１の着目画素９１１と同じ色の画素でなければならない。例えば第２のテンプレート９０１の中心の着目画素９１１がＲ色の画素である場合、第２のサーチエリア９０２内の探索対象画素は、着目画素９１１と同じＲ色の各画素となされる。したがって、図９（ａ）に示すように、類似度算出部１２３は、第２のサーチエリア９０２に含まれるＲ色の９個の画素をそれぞれ探索対象画素とし、それら９個のＲ色の画素毎に、第２のテンプレート９０１の着目画素９１１との類似度を算出する。探索対象画素の座標を（Ｘ，Ｙ）とすると、類似度Ｓ（Ｘ，Ｙ）は、式（５）により求めることができる。なお、式（５）において、Ｍは画素値の採り得る最大値、ＳＡＤ（Ｘ，Ｙ）は探索対象画素の座標（Ｘ，Ｙ）における第２のテンプレートの画素値と第２のサーチエリアの画素値との差分絶対値和、Ｎは第２のテンプレートの総画素数である。

Ｓ（Ｘ，Ｙ）＝Ｍ−ＳＡＤ（Ｘ，Ｙ）／Ｎ ・・・・式（５）

そして、類似度算出部１２３は、参照画像が複数ある場合には、それぞれの参照画像に設定された第２のサーチエリアについて前述同様に類似度の算出を行う。図１０（ａ）は、参照画像Ｐ１に設定された第２のサーチエリアと算出された類似度の一例を示し、同様に、図１０（ｂ）は参照画像Ｐ２に設定された第２のサーチエリアと各類似度の一例を示している。図１０（ａ）、図１０（ｂ）に示した第２のサーチエリアは５×５画素のサイズであり、それらの第２のサーチエリア内の各画素の中に記載された数値が類似度の値を表しており、類似度の値が大きければその画素は着目画素と類似していることを表している。なお、図１０（ａ）、図１０（ｂ）の例は、前述の図９（ａ）に例示したＲ色の９個の各画素について類似度が算出されているとする。

ここで仮に、各画素位置の画素値に対する前述したゲイン処理による影響が非常に小さく、各画素位置のノイズ量にも殆ど差がなかったとすると、式（５）で算出された各類似度は、略々等しい条件の下で算出された値とみなせる。したがって、この場合、例えば類似度の高い上位の所定数の画素を抽出して、それら類似度に基づく重み係数を用いて各画素値を加重加算する合成処理を行えば、ノイズの低減された出力値が得られることになる。図１０（ａ）と図１０（ｂ）の例の場合、信頼度の高い上位所定数の画素として、画素１００１，１００２、画素１０１１〜１０１３の５画素を挙げている。

これに対し、各画素位置の画素値に対するゲイン処理の影響により、各画素位置のノイズ量に大きな差が生じているとすると、式（５）で算出された各類似度は、異なる条件下で算出された値となるため、各類似度の算出精度には違いが生じていることになる。したがって、この場合、算出された各類似度のみを参照して合成に用いる画素を決定すると、誤ってノイズ量の大きい画素値を合成してしまうことになる可能性があり、ノイズ低減効果が低下してしまうことになる。

このため、本実施形態の高画質化処理部１０７は、図４のＳＴ４０４において、画素位置によってノイズ量が異なることによるノイズ低減効果への影響を軽減するために、周辺光量補正に起因したノイズ量の違いを考慮して、類似度に対する信頼度を算出する。このＳＴ４０４の信頼度算出処理は、信頼度算出部１２４により行われる。本実施形態の場合、信頼度算出部１２４は、基準画像中の着目画素の画素位置と参照画像の第２のサーチエリア内の対応画素の画素位置とに対してそれぞれ設定されている周辺光量補正のためのゲイン値に基づいて、各類似度の信頼度を算出する。

図１１は、前述の図３と同様、周辺光量補正で用いられるゲイン値の一例を示す図である。図１１の距離Ｌｔは基準画像の画像中心から着目画素Ｔの画素位置までの距離（像高）、距離Ｌｓは一つの参照画像の画像中心から第２のサーチエリア内の対応画素（ここでは、対応画素Ｃとする。）の画素位置までの距離（像高）を表している。また、ゲイン値ＧＮｔは着目画素Ｔに乗算されるゲイン値、ゲイン値ＧＮｃは対応画素Ｃに乗算されるゲイン値を表している。信頼度算出部１２４は、図１１に示すように、画像中心からの距離を表す像高Ｌに対して設定されるゲイン値ＧＮ（Ｌ）を表す曲線を基に、着目画素Ｔに対するゲイン値ＧＮｔを式（６）、対応画素Ｃに対するゲイン値ＧＮｃを式（７）により算出する。

ＧＮｔ＝ＧＮ（Ｌｔ） ・・・・式（６）
ＧＮｃ＝ＧＮ（Ｌｃ） ・・・・式（７）

また、基準画像の画像中心の座標を（Ｘｏ，Ｙｏ）、着目画素Ｔの座標を（Ｘｔ，Ｙｔ）、対応画素Ｃの座標を（Ｘｃ，Ｙｃ）で表すと、信頼度算出部１２４は、距離Ｌｔを式（８）、距離Ｌｃを式（９）により算出する。

更に、信頼度算出部１２４は、着目画素Ｔの画素位置におけるゲイン値ＧＮｔと、対応画素Ｃの画素位置におけるゲイン値ＧＮｃを基に、式（１０）によりゲイン比Ｒatioを算出する。

Ｒatio＝ＧＮｔ／ＧＮｃ ・・・・式（１０）

また更に、信頼度算出部１２４は、図１２に折れ線で示す特性を基に、信頼度ｒを決定する。図１２に折れ線で示す特性は、ゲイン比Ｒatioが１に近いほど、つまり着目画素Ｔと対応画素Ｃとでノイズ量の差が少ないほど、信頼度ｒが最大値である１に近づくような特性テーブルとして設定されている。

そして、ＳＴ７０３の後、高画質化処理部１０７は、図４のＳＴ４０５に処理を進める。図４のＳＴ４０５において、高画質化処理部１０７は、ＳＴ４０４で算出された信頼度と、ＳＴ４０３で算出された類似度とに基づいて、出力値（出力画素値）を算出する。出力値の算出処理は、出力値算出部１２５により行われる。

先ず、出力値算出部１２５は、式（１１）により、ＳＴ４０４で算出された信頼度ｒを、ＳＴ４０３で算出された各探索対象画素の画素位置（座標（Ｘ，Ｙ））の類似度Ｓ（Ｘ，Ｙ）に乗算することで、ノイズ量の違いを加味した評価値Ｓ'（Ｘ，Ｙ）を算出する。

Ｓ'（Ｘ，Ｙ）＝ｒ＊Ｓ（Ｘ，Ｙ） ・・・・式（１１）

ここで、図１３（ａ）は、参照画像Ｐ１に設定された第２のサーチエリアと各画素位置における類似度Ｓの一例を示す図であり、図１３（ｂ）は、参照画像Ｐ２に設定された第２のサーチエリアと各類似度Ｓの一例を示す図である。これら図１３（ａ）、図１３（ｂ）は、前述の図１０（ａ），図１０（ｂ）と同様に表されている。また、図１３（ｃ）は、信頼度ｒの値が例えば０．９の場合に、図１３（ａ）に示した参照画像Ｐ１の第２のサーチエリアから算出された各評価値Ｓ'を示した図である。一方、図１３（ｄ）は、信頼度ｒの値が例えば０．８の場合に、図１３（ｂ）に示した参照画像Ｐ２の第２のサーチエリアから算出された各評価値Ｓ'を示した図である。

次に、出力値算出部１２５は、参照画像Ｐ１と参照画像Ｐ２にそれぞれ設定された第２のサーチエリア内で算出された評価値Ｓ'の値を参照し、評価値Ｓ'の大きい上位５画素の画素値を抽出する。図１３（ｃ）、図１３（ｄ）の例の場合、上位５画素として画素１３２１〜１３２３、画素１３３１，１３３２の５画素の各画素値が抽出される。そして、出力値算出部１２５は、それら抽出した各画素位置の評価値Ｓ'の値に基づいて重み係数を算出し、その重み係数を用いて各画素値を合成する。例えば、評価値Ｓ'がｎ番目に大きい画素位置における画素値をＩ（ｎ）、その画素の類似度をＳ'（ｎ）とすると、出力値Ｉoutは式（１２）により算出される。また、式（１２）におけるＷ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５は、式（１３）〜式（１７）により算出され、式（１３）〜式（１７）のＳｕｍは式（１８）により算出される。式（１８）中のＮは１〜５となる。

Iout＝W1*I(1)＋W2*I(2)＋W3*I(3)＋W4*I(4)＋W5*I(5) ・・・・式（１２）
W1＝S'(1)/Sum ・・・・式（１３）
W2＝S'(2)/Sum ・・・・式（１４）
W3＝S'(3)/Sum ・・・・式（１５）
W4＝S'(4)/Sum ・・・・式（１６）
W5＝S'(5)/Sum ・・・・式（１７）

その後、高画質化処理部１０７は、ＳＴ４０６において、以上説明した着目画素に対する処理が、基準画像中の全ての画素位置について実施されたか否かを判定する。そして、高画質化処理部１０７は、基準画像の中の全ての画素位置について処理が実施されたと判定（Ｙｅｓ）した場合、図４のフローチャートの処理を終了する。一方、高画質化処理部１０７は、基準画像の中で処理が実施されていない画素位置があると判定（Ｎｏ）した場合にはＳＴ４０１に処理を戻して、その画素位置の画素（着目画素）に対する前述の処理を行う。第１の実施形態においては、以上説明したような着目画素に対する処理が基準画像中の全ての画素位置について実施されることで、ノイズが低減された高品質の出力画像を得ることができる。

前述したように、第１の実施形態によれば、画像中のノイズ量を考慮してノイズ低減に使用する画素を決定しているため、画素位置によってノイズ量の違いが生じている場合であっても、高い精度で類似画素を検出可能となる。そして、第１の実施形態では、ゲイン値の比を考慮することで、高画質化処理の際にノイズ量の差異が小さい画素を優先的に用いて画素値の合成を行えるようになり、ノイズが高い精度で低減された、高品質の出力画像を得ることが可能となる。このように、第１の実施形態によれば、周辺光量補正等のゲイン処理により画像位置によるノイズ量の違いが生じている場合においても、高い精度で類似画素を検出でき、その結果、ノイズが良好に低減された高品質の出力画像を得ることが可能となる。

＜第２の実施形態＞
以下、第２の実施形態について説明する。
第２の実施形態では、第２のテンプレートとして設定される領域を変形することで、類似度算出の信頼度をさらに向上させることを可能にしている。特に第２の実施形態の画像処理は、周辺光量補正が施された画像のように、各画素位置でゲイン値に大きな差異が生じている可能性が高い画像辺縁部に着目画素が位置している場合に有効である。

第２の実施形態の構成は、概ね第１の実施形態と同様であるが、図７に示したフローチャートのＳＴ７０１における第２のテンプレートの設定処理が異なる。第２の実施形態では、テンプレート設定部１２１は、着目画素の位置のゲイン値と、その着目画素の周辺領域の各画素位置のゲイン値とを参照し、着目画素のゲイン値とその周辺領域の各画素位置のゲイン値との差異（差の絶対値）をそれぞれ算出する。そして、それら算出したゲイン値の差の絶対値が所定の閾値よりも大きい画素位置の画素は無効な画素とし、差の絶対値が所定の閾値以内の画素のみを含んだ第２のテンプレートを設定する。

例えば、着目画素Ｔの座標（Ｘｔ，Ｙｔ）のゲイン値をＧＮ（Ｘｔ，Ｙｔ）、着目画素Ｔの周辺領域の各画素位置におけるゲイン値をＧＮ（Ｘｓ，Ｙｓ）とすると、ゲイン値の差Ｄ（Ｘｓ，Ｙｓ）は、式（１９）により算出される。

Ｄ（Ｘｓ，Ｙｓ）＝｜ＧＮ（Ｘ_S，Ｙ_S）−ＧＮ（Ｘｔ，Ｙｔ）｜ ・・・式（１９）

図１４（ａ）、図１４（ｂ）は、第２の実施形態におけるゲイン値の差異算出の一例を説明する図である。図１４（ａ）は、着目画素の画素位置１４０１とその周辺領域の各画素の画素位置の各ゲイン値を示しており、各画素位置の中に記載された数値がそれぞれゲイン値を表している。図１４（ｂ）は、着目画素の画素位置１４０１のゲイン値と周辺領域の各画素位置のゲイン値との差Ｄを表しており、各画素の中に記載された数値がそれぞれ差Ｄの値を表している。図１４（ｂ）の例では、着目画素の画素位置１４０１における差Ｄは０．００であり、周辺領域の各画素位置における差Ｄは着目画素の画素位置１４０１のゲイン値との差分の値を表している。また、図１４（ｂ）において、画素位置１４１２，１４１３，１４１４は、所定の閾値として決められている値が例えば０．５である場合に、所定の閾値よりもそれぞれ差Ｄが大きい画素である。第２の実施形態では、図１４（ｂ）の例の場合、差Ｄが所定の閾値よりも大きい画素位置１４１２，１４１３，１４１４の各画素を第２のテンプレートから除外する画素とし、それら以外の画素を第２のテンプレートに含める。

ここで、着目画素の周辺領域の各画素のうち、着目画素のゲイン値との差異が所定の閾値より大きい画素は、着目画素とは大きく異なるゲイン値によるゲイン処理がなされた画素である。したがって、それらの画素のノイズ量は着目画素のノイズ量とは大きく異なっていると考えられる。このため、第２の実施形態では、着目画素の周辺領域の各画素のうち、着目画素のゲイン値との差異が所定の閾値より大きい画素を第２のテンプレートから除外している。このように第２の実施形態では、着目画素の周辺領域の各画素のうち、着目画素のゲイン値との差異が所定の閾値より大きい画素を第２のテンプレートから除外することで、ノイズ量が一定範囲内となっている領域のみを第２のテンプレートとして設定している。これにより、第２の実施形態によれば、例えば周辺光量補正がなされた画像のように、画像中心部に対してノイズ量に大きな差異が生じている可能性が高い画像辺縁部に着目画素が位置している場合であっても、類似度算出の精度を向上させることができる。したがって、第２の実施形態においても、周辺光量補正等のゲイン処理により画像位置によるノイズ量の違いが生じている場合においても高い精度で類似画素を検出でき、ノイズが低減された高品質の出力画像を得ることが可能となる。

＜第３の実施形態＞
以下、第３の実施形態について説明する。
第３の実施形態では、信頼度マップを使用することで類似度算出の信頼度をさらに向上させることを可能とする。第３の実施形態では、例えば１００×１００画素サイズのように、広い第２のサーチエリアが設定される場合に、その広い第２のサーチエリア内でのゲイン値の差異によってノイズ量に大きな差が生じるような場合に特に有効である。

第３の実施形態の構成は、概ね第１の実施形態と同様であるが、図４に示したフローチャートのＳＴ４０４の信頼度算出処理が異なる。第３の実施形態の場合、信頼度算出部１２４は、広い第２のサーチエリアについて信頼度マップを生成し、その信頼度マップを基に信頼度を算出する。以下、図１５（ａ）と図１５（ｂ）、及び図１６を用いて、信頼度マップを用いた信頼度算出方法について説明する。

信頼度マップとは、図１５（ａ）、図１５（ｂ）に示すように、画像を複数の画像領域に分割したそれぞれの分割領域別の２次元の基底関数であり、前述した周辺光量補正に対応した信頼度マップの場合は画像辺縁部ほど小さい係数を持つものとなされる。本実施形態の場合、信頼度マップは、周辺光量補正における撮影条件と各画素位置に応じたゲイン値に基づいて生成され、例えばＲＡＭ１０５に保持されている。そして、本実施形態の場合、基準画像に対して、参照画像における被写体の移動や手ぶれによる画像間の位置ずれ量に応じて、予め分割領域別に用意されている信頼度マップがＲＡＭ１０５から読み出される。

図１５（ａ）では、画像の水平方向をＨ０〜Ｈ５に分け、垂直方向をＶ０〜Ｖ５に分けることで、画像を３０分割した例を示している。以下の説明では、例えば水平方向のＨ４と垂直方向のＶ２に対応した分割領域をＨ４Ｖ２のように表すとする。また、図１５（ａ）では、基準画像の着目画素Ｔと参照画像中の対応画素Ｃとが、同じ分割領域Ｈ４Ｖ２の中に位置している例を示している。

図１５（ａ）に例示したように、基準画像の着目画素Ｔと参照画像中の対応画素Ｃとが同じ分割領域Ｈ４Ｖ２の中に位置している場合、信頼度算出部１２４は、その分割領域Ｈ４Ｖ２に対応した信頼度マップＭＰh4v2をＲＡＭ１０５から読み出す。そして、信頼度算出部１２４は、その分割領域Ｈ４Ｖ２の信頼度マップＭＰh4v2に対し、着目画素Ｔと対応画素Ｃのゲイン値の比率（ゲイン比）から得られる調整係数Ｋを乗算することにより、信頼度ｒを算出する。

第３の実施形態の場合、信頼度算出部１２４は、図１６の折れ線で示す特性を基に、調整係数Ｋを算出する。図１６の折れ線で示す特性は、ゲイン比Ｒatioが１に近いほど、つまり着目画素Ｔと対応画素Ｃとでノイズ量の差が少ないほど、調整係数Ｋが最大値である１に近づくような特性テーブルとして設定さている。第２のサーチエリアを例えば３×３画素サイズで表した場合、分割領域Ｈ４Ｖ２の信頼度マップＭＰh4v2は式（２０）で表され、そして、調整係数Ｋが例えばＫ＝０．９である場合、信頼度ｒは式（２１）のように算出される。

図１５（ｂ）は、図１５（ａ）と同様に、画像を３０分割した例を示している。図１５（ｂ）は基準画像の着目画素Ｔと参照画像中の対応画素Ｃが異なる分割領域内に位置している例を示しており、この例では着目画素Ｔが分割領域Ｈ４Ｖ２内に、対応画素Ｃが分割領域Ｈ４Ｖ１の中に位置している。

この場合、信頼度算出部１２４は、着目画素Ｔが位置する分割領域Ｈ４Ｖ２の信頼度マップＭＰh4v2と、対応画素Ｃが位置する分割領域Ｈ４Ｖ１の信頼度マップＭＰh4v1とを、ＲＡＭ１０５から読み出す。さらに、信頼度算出部１２４は、着目画素Ｔと対応画素Ｃのゲイン値の比率から得られる調整係数Ｋを基に重み係数Ｗｋを算出し、その重み係数Ｗｋを用いて式（２２）により信頼度ｒを算出する。また、重み係数Ｗｋは、式（２３）により算出される。

ｒ＝（１−Ｗｋ）＊ＭＰh4v1＋Ｗｋ＊ＭＰh4v2 ・・・・式（２２）
Ｗｋ＝Ｋ／２ ・・・・式（２３）

第２のサーチエリアを例えば３×３画素サイズで表し、信頼度マップＭＰh4v1、ＭＰh4v2がそれぞれ式（２４）、式（２５）で表され、さらに重み係数ＷｋがＷｋ＝０．５である場合、信頼度ｒは、式（２６）により算出される。

以上説明したように、第３の実施形態においては、第２のサーチエリアが広範囲に設定されている場合においても、信頼度マップを用いることにより、第２のサーチエリア中のゲイン値の差異により生じるノイズ量の違いを考慮した類似度算出の信頼度を評価できる。このため、第３の実施形態によれば、周辺光量補正等のゲイン処理により各画像位置でノイズ量の違いが生じている場合でも類似度算出の精度を保つことができ、その結果、高品質の出力画像を得ることが可能となる。

＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
前述の各実施形態では、周辺光量補正のためのゲイン処理を行った画像の画像処理例を挙げたが、撮像画像内で局所的なゲイン処理を行った複数の画像の局所領域の位置合わせを行って合成等して出力画像を生成するような画像処理にも本発明は適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：デジタルカメラ、１０１：撮像レンズ、１０２：絞り、１０３：撮像素子、１０５：ＲＡＭ、１０６：周辺光量補正部、１０７：高画質化処理部、１２１：テンプレート設定部１２１、１２２：サーチエリア設定部、１２３：類似度算出部、１２４：信頼度算出部、１２５：出力値算出部

Claims (14)

1. 画素位置に応じたゲイン値によるゲイン処理が施された複数の画像を用いて所定の画像処理を行って出力画像を生成する画像処理装置であって、
   前記ゲイン処理が施された複数の画像のうち処理の対象となされた基準画像の中の着目画素を含む領域を、テンプレートとして設定する第１の設定手段と、
   前記ゲイン処理が施された複数の画像のうち前記基準画像に対する参照画像の中で前記着目画素の画素位置に基づく領域を、サーチエリアとして設定する第２の設定手段と、
   前記設定されたサーチエリア内の各画素位置で、前記テンプレートとの類似度を算出する類似度算出手段と、
   前記基準画像の中の前記着目画素の画素位置に応じたゲイン値と前記参照画像の前記サーチエリアの中の各画素位置に応じたゲイン値との差異に基づいて、前記類似度の信頼度を算出する信頼度算出手段と、
   前記類似度と前記信頼度とに基づいて、前記出力画像の画素値を算出する出力値算出手段と、
   を有することを特徴とする画像処理装置。
2. 前記ゲイン処理は、前記複数の画像を撮像する際に用いられる撮像レンズの光学特性及び撮影条件に応じた画素位置毎のゲイン値を、前記撮像レンズを用いて撮像された撮像画像の前記画素位置毎の各画素値にそれぞれ乗算する処理であることを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の画像処理は、前記ゲイン処理が施された前記基準画像に対して、前記基準画像の前又は後の少なくとも何れかで撮像された前記参照画像を用いた所定の高画質化処理を施して前記出力画像を生成する処理であり、
   前記出力値算出手段により算出された前記画素値を用いて前記出力画像が生成されることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記信頼度算出手段は、前記基準画像の中の前記着目画素の画素位置に応じたゲイン値と前記参照画像の前記サーチエリアの中の各画素位置に応じたゲイン値との比を基に、前記類似度の信頼度を算出することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記信頼度算出手段は、前記ゲイン値の比と、予め設定された信頼度との対応を表す特性テーブルを基に、前記類似度の信頼度を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記出力値算出手段は、前記サーチエリアの中の各画素位置で算出された前記類似度に対して前記信頼度の値を乗算して評価値を算出し、前記評価値が上位の所定数の画素位置の画素値を、前記評価値に基づく重み係数を用いて合成することにより前記出力画像の画素値を算出することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記第１の設定手段は、前記基準画像を縮小した縮小基準画像の中の前記着目画素の画素位置に基づく第１のテンプレートを設定し、
   前記第２の設定手段は、前記参照画像を縮小した縮小参照画像の中で前記着目画素の画素位置に基づく第１のサーチエリアを設定し、
   前記類似度算出手段は、前記縮小参照画像について、前記第１のサーチエリア内で前記第１のテンプレートを用いた探索を行って、前記着目画素を含む画像領域に類似した類似画像領域の中心座標を求め、
   さらに前記第１の設定手段は、縮小されていない前記基準画像の着目画素の画素位置に基づく第２のテンプレートを設定し、
   さらに前記第２の設定手段は、縮小されていない前記参照画像の中で前記類似画像領域の中心座標を基に、第２のサーチエリアを設定し、
   さらに前記類似度算出手段は、前記第２のサーチエリア内の各画素位置で、前記第２のテンプレートとの前記類似度を算出することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 前記第１の設定手段は、前記基準画像の画素を間引いて前記縮小基準画像を生成し、前記間引く画素数に応じて前記第１のテンプレートの大きさを調整し、
   前記第２の設定手段は、前記参照画像の画素を間引いて前記縮小参照画像を生成し、前記間引く画素数に応じて前記第１のサーチエリアの大きさを調整することを特徴とする請求項７に記載の画像処理装置。
9. 前記第２の設定手段は、撮像により得られた前記基準画像と前記参照画像との撮影時間間隔に応じて、前記第１のサーチエリアの大きさを設定することを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記第１の設定手段は、前記着目画素の画素位置のゲイン値と前記着目画素の周辺の画素位置のゲイン値との差を求め、前記着目画素の周辺の画素のうち、前記差が所定の閾値以内の画素を前記第２のテンプレートに含めることを特徴とする請求項７から９の何れか１項に記載の画像処理装置。
11. 前記信頼度算出手段は、前記基準画像と前記参照画像との間の画像間の位置ずれ量に応じて、予め画像領域ごとに用意されている信頼度マップを読み出し、前記読み出した信頼度マップに基づいて前記サーチエリアの各画素位置における信頼度を決定することを特徴とする請求項１から１０の何れか１項に記載の画像処理装置。
12. 前記信頼度マップは、少なくとも前記画素位置に応じたゲイン値に基づいて生成されることを特徴とする請求項１１に記載の画像処理装置。
13. 画素位置に応じたゲイン値によるゲイン処理が施された複数の画像を用いて所定の画像処理を行って出力画像を生成する画像処理装置の画像処理方法であって、
    前記ゲイン処理が施された複数の画像のうち処理の対象となされた基準画像の中の着目画素を含む領域を、テンプレートとして設定する第１の設定工程と、
    前記ゲイン処理が施された複数の画像のうち前記基準画像に対する参照画像の中で前記着目画素の画素位置に基づく領域を、サーチエリアとして設定する第２の設定工程と、
    前記設定されたサーチエリア内の各画素位置で、前記テンプレートとの類似度を算出する類似度算出工程と、
    前記基準画像の中の前記着目画素の画素位置に応じたゲイン値と前記参照画像の前記サーチエリアの中の各画素位置に応じたゲイン値との差異に基づいて、前記類似度の信頼度を算出する信頼度算出工程と、
    前記類似度と前記信頼度とに基づいて、前記出力画像の画素値を算出する出力値算出工程と、
    を有することを特徴とする画像処理方法。
14. コンピュータを、請求項１から１２の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images