JP2015026305A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】色空間変換を伴うことなく入力信号のまま、複数の画像データを合成すること。【解決手段】擬似輝度画像生成部５２は、複数種の色成分を有する複数の画像から、輝度成分を有する複数の擬似輝度成分画像を生成する。合成部５４は、複数の画像のうち、所定の１枚を基準画像として、残りを追加画像として、基準画像の擬似輝度成分画像からテンプレートを作成して、追加画像の擬似輝度成分画像内の所定の探索範囲におけるテンプレートと同サイズの領域とパターンマッチングをすることで相関量を算出し、当該相関量に基づいて係数を算出する。そして、合成部５４は、係数と、基準画像と、追加画像とを用いて畳み込み演算を行う。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来から、Ｂａｙｅｒ配列画像データにおいて、ノイズ除去を目的として同一画像内でブロックマッチングが行われている。

一方で、このような複数のＢａｙｅｒ配列画像データの合成が必要な場合、Ｂａｙｅｒ配列画像データから、ＹＵＶデータのような各成分が空間方向に連続的な画像データに変換されていた。つまり、色空間変換がなされた後の複数の画像データについて、対応点が抽出され、当該対応点を用いた位置合わせがなされた上で、合成処理が実行されていた。なお、このような対応点の抽出の一手法が、特許文献１に開示されている。

特開２００５−１３０２８１号公報

しかしながら、色空間変換がなされることで一部の情報が消失していた。また、デモザイク処理が介在することで、本来の入力信号ではない信号が合成されていた。さらに、このような色空間変換は、合成枚数分行う必要があった。

本発明は、このような状況に鑑みてなされたものであり、色空間変換を伴うことなく入力信号のまま、複数の画像データを合成可能にすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
複数種の色成分を有する複数の画像から、輝度成分を有する複数の擬似輝度成分画像を生成する擬似輝度画像生成手段と、
前記複数の画像のうち、所定の１枚を基準画像として、残りを追加画像として、前記基準画像の注目画素とその隣接画素を所定数含む領域をテンプレートとして、前記追加画像内の所定の探索範囲における前記テンプレートと同サイズの領域との相関量に基づく係数を用いた畳み込み演算を行うことで、前記複数の画像を合成する合成手段と、
を備え、
前記合成手段は、
前記基準画像の擬似輝度成分画像からテンプレートを作成して、前記追加画像の擬似輝度成分画像内の所定の探索範囲における前記テンプレートと同サイズの領域とパターンマッチングをすることで前記相関量を算出し、当該相関量に基づいて前記係数を算出し、
前記係数と、前記基準画像と、前記追加画像とを用いて前記畳み込み演算を行う、
ことを特徴とする。

本発明によれば、色空間変換を伴うことなく入力信号のまま、複数の画像データを合成することが可能となる。

本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成のうち、合成処理を実行するための機能的構成を示す機能ブロック図である。 ブロックマッチングをベースとした、ＮＬ−ｍｅａｎｓによるノイズリダクションのアルゴリズムについて説明する図である。 図２の合成処理に対して図３のＮＬ−ｍｅａｎｓを適用した場合における、ブロックマッチングの手法を説明する図である。 Ｇ成分が注目画素とされたときのブロックマッチングの対象を示す図である。 Ｂ成分が注目画素とされたときのブロックマッチングの対象を示す図である。 図２の機能構成を有する図１の撮像装置１が実行する、合成処理の流れの一例を示すフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。
［ハードウェア構成］
図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、例えば、後述する合成処理のためのプログラム等、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、被写体を撮像し、当該被写体の像を含む画像（以下、「撮像画像」と呼ぶ）のデジタル信号（画像信号）をＣＰＵ１１に供給する。ここで、撮像画像のデジタル信号（画像信号）を、以下、「撮像画像のデータ」と適宜呼ぶ。
撮像部１６は、撮像素子やＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成され、撮像素子から得られる画素データを含む画像データを生成する。撮像素子は、本実施形態ではＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ型の光電変換素子から構成される。本実施形態においては撮像素子には、Ｂａｙｅｒ配列の色フィルタが装着されている。撮像素子は、一定時間毎に、その間に入射されて蓄積された被写体像の光信号を光電変換（撮像）して、その結果得られるアナログの電気信号をＡＦＥに順次供給する。従って本実施形態においては、ＡＦＥからは、Ｂａｙｅｒ配列画像データが、撮像画像のデータとして出力される。

入力部１７は、各種釦やポインティングデバイス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、撮像画像のデータ等各種データを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の情報処理装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている撮像画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような撮像装置１の機能的構成のうち、合成処理を実行するための機能的構成を示す機能ブロック図である。
合成処理とは、複数のＢａｙｅｒ配列画像データを合成するまでの一連の処理をいう。なお、以下、複数のＢａｙｅｒ配列画像データのうち、基準となる１枚の画像データを、「基準Ｂａｙｅｒ画像ＢＲ」と呼び、それ以外の画像データを「追加Ｂａｙｅｒ画像ＡＲ」と呼ぶ。追加Ｂａｙｅｒ画像ＡＲは、以下の説明では便宜上１枚のみとするが、複数枚であっても構わない。

ＣＰＵ１１においては、合成処理が実行されるに際し、Ｂａｙｅｒ画像取得部５１と、擬似輝度画像生成部５２と、射影変換行列生成部５３と、合成部５４とが機能する。

Ｂａｙｅｒ画像取得部５１は、基準Ｂａｙｅｒ画像ＢＲ及び追加Ｂａｙｅｒ画像ＡＲを取得して、擬似輝度画像生成部５２へ供給する。

擬似輝度画像生成部５２は、基準Ｂａｙｅｒ画像ＢＲの擬似輝度マップＢＹ、及び追加Ｂａｙｅｒ画像ＡＲの擬似輝度マップＡＹを生成して、射影変換行列生成部５３及び合成部５４へ供給する。
ここで、擬似輝度マップとは、Ｂａｙｅｒ配列画像データの各画素データのうち、色成分中の例えばＧのデータに基づいて演算された擬似的な輝度値を、各画素毎に画素値として有する画像データをいう。

射影変換行列生成部５３は、擬似輝度マップＢＹ−擬似輝度マップＡＹ間のグローバル動きベクトル（ＧＭＶ）を算出し、その算出結果に基づいて、擬似輝度マップＢＹ−擬似輝度マップＡＹ間の射影変換行列Ｈを生成して、合成部５４へ供給する。なお、本実施形態では、射影変換行列Ｈが採用されているが、アフィン変換行列等他の変換行列が採用されても構わない。

合成部５４は、基準Ｂａｙｅｒ画像ＢＲと追加Ｂａｙｅｒ画像ＡＲとを、次のようにして合成する。
即ち、合成部５４は、射影変換行列Ｈを用いて、基準Ｂａｙｅｒ画像ＢＲ内の注目画素に対応する、追加Ｂａｙｅｒ画像ＢＲ内の画素座標周辺領域を決め、基準Ｂａｙｅｒ画像ＢＲの擬似輝度マップＢＹから作成したテンプレートとブロックマッチングを行う。その際に、合成部５４は、相関量に応じて加重をした畳み込み演算を行うことで、合成画像の注目画素の画素値を算出する。このような畳み込み演算により、合成画像の注目画素についてのノイズ低減効果も実現可能となる。
合成部５４は、基準Ｂａｙｅｒ画像ＢＲの各画素を注目画素に順次設定して、上述の一連の処理を繰り返すことで、基準Ｂａｙｅｒ画像ＢＲと追加Ｂａｙｅｒ画像ＡＲとを合成する。

さらに以下、図３乃至図６を適宜参照して、合成部５４による合成の処理について詳しく説明する。

本実施形態では、合成部５４による合成の処理に対して、ブロックマッチングをベースとした、ＮＬ−ｍｅａｎｓによるノイズ除去のアルゴリズムが適用されている。
そこで先ず図３を参照して、従来の用途でのＮＬ−ｍｅａｎｓのアルゴリズムについて説明する。

図３は、ブロックマッチングをベースとした、ＮＬ−ｍｅａｎｓによるノイズリダクションのアルゴリズムについて説明する図である。
図３に示すように、従来のＮＬ−ｍｅａｎｓにおいては、１枚の画像内の各画素毎のノイズ除去目的として、当該１枚の画像内でブロックマッチングが行われていた。
具体的には、ＮＬ−ｍｅａｎｓでは、注目画素（画素値Ｉｐ）を中心とした８つの隣接画素を含む３×３の画素単位からなる領域Ｎｐが、マッチングを行うためのテンプレートとなる。
そして、注目画素の周辺について領域Ｎｐと同様の画素単位（同一サイズ）の領域Ｎｑが、マッチングの相手となる。即ち、マッチングでは、次の式（１）に示すように、テンプレートの領域Ｎｐと、サーチ範囲Ｓ内における各領域Ｎｑとの相関量が求められる。

式（１）において、ｗｑは、近傍画素の加重係数を示しており、ｈは、強度パラメータを示している。
この式（１）の中括弧内の分子Ｄｉｓｔ（Ｎｐ，Ｎｑ）が相関量であり、例えば、領域Ｎｐと領域Ｎｑ内に夫々含まれる要素ベクトル間のＬ１又はＬ２ノルムが採用されてもよいし、ヒストグラム距離が採用されてもよい。
この相関量が強度パラメータｈで除算されて指数関数として求められた加重係数ｗｑが、領域Ｎｑの中心の画素値Ｉｑに対する畳み込みの係数として用いられる。
即ち、ノイズ除去後の注目画素の画素値Ｉｐ’は、次の式（２）に示す畳み込み演算によって求められる。換言すると、式（２）は、サーチ範囲Ｓをタップサイズとする加重フィルタを示している。

式（２）において、分子は、サーチ範囲Ｓ内の各画素値Ｉｑと夫々に対する加重係数ｗｑを掛けて積和したものを示している。分母は、加重係数ｗｑの総和であり、正規化するために用いられている。

以上図３を用いて説明したように、従来のＮＬ−ｍｅａｎｓにおいては、１枚の画像の各画素毎のノイズ除去目的として、当該１枚の画像内でブロックマッチングが行われる。
これに対して、本実施形態のＮＬ−ｍｅａｎｓにおいては、図４に示すように、複数のＢａｙｅｒ配列画像データ（基準Ｂａｙｅｒ画像ＢＲと追加Ｂａｙｅｒ画像ＡＲ）の合成及びそれに伴うノイズ除去を目的として、当該複数のＢａｙｅｒ配列画像データ（基準Ｂａｙｅｒ画像ＢＲと追加Ｂａｙｅｒ画像ＡＲ）間でブロックマッチングが行われる。

図４は、図２の合成処理に対して図３のＮＬ−ｍｅａｎｓを適用した場合における、ブロックマッチングの手法を説明する図である。
本実施形態のＮＬ−ｍｅａｎｓでは、基準Ｂａｙｅｒ画像ＢＲの注目画素（画素値Ｉｐ）を中心とした８つの隣接画素を含む３×３の画素単位からなる領域Ｎｐが、マッチングを行うためのテンプレートとなる。ただし、加重係数ｗｑの演算に必要な相関量を求める際には、テンプレートとしては、領域Ｎｐに対応する、擬似輝度マップＢＹの領域Ｎｐ’が用いられる。
そして、マッチングの相手は、追加Ｂａｙｅｒ画像ＡＲにおけるサーチ範囲Ｓ内における各領域Ｎｑとなる。ただし、加重係数ｗｑの演算に必要な相関量を求める際には、各領域Ｎｑに対応する、擬似輝度マップＡＹの領域Ｎｑ’が用いられる。
即ち、本実施形態では、次の式（３）に示すように、擬似輝度マップＢＹの領域Ｎｐ’と、擬似輝度マップＡＹの各領域Ｎｑ’との相関量Ｄｉｓｔ（Ｎｐ’，Ｎｑ’）が求められ、当該相関量Ｄｉｓｔ（Ｎｐ’，Ｎｑ’）に基づいて加重係数ｗｑが求められる。

本実施形態では、この式（３）で求められた加重係数ｗｑが、領域Ｎｑの中心の画素値Ｉｑに対する畳み込みの係数として用いられる。
即ち、合成後のＢａｙｅｒ配列画像データの注目画素の画素値Ｉｐ’は、式（３）で演算された加重係数ｗｑを用いる上述の式（２）に示す畳み込み演算によって求められる。

ここで、従来の同一画像内のノイズリダクションを目的とするＮＬ−ｍｅａｎｓにおいては、ブロックマッチングの対象がＢａｙｅｒ配列画像データである場合、パッチ（比較相手の領域Ｎｑ）内には同一色成分が複数存在することが条件となる。
これに対して、本実施形態の複数の画像の合成を目的とするＮＬ−ｍｅａｎｓにおいては、ブロックマッチングの対象がＢａｙｅｒ配列画像データである場合、式（３）で示されるように、パッチ内の擬似輝度成分を使って相関量Ｄｉｓｔ（Ｎｐ’，Ｎｑ’）が算出されるため、図５や図６に示すように、パッチ内には注目画素の色成分は少なくとも１つあれば足りる。

図５は、Ｇ成分が注目画素とされたときのブロックマッチングの対象を示す図である。
Ｇ成分が注目画素とされ、当該注目画素を中心とする３×３画素単位のテンプレートの領域Ｎｐが設定されている。この場合、マッチングの相手となる周辺の領域Ｎｑも、同様のパッチ内に５画素のＧ成分をもつために、従来と本実施形態の両方とも、３×３画素を最小単位としたパッチで処理することが可能となる。

図６は、Ｂ成分が注目画素とされたときのブロックマッチングの対象を示す図である。
注目画素をＢ成分とする場合には、従来においては、図６には図示しないが最低でも５×５画素を最小単位としたパッチが必要とされた。このため、パッチサイズが大きくなってしまったり、色成分毎にパッチサイズが変わってしまうために相関量の指標が異なってきてしまう。
これに対して、本実施形態では、マッチングの相手となる周辺の領域Ｎｑは、Ｂ成分が少なくとも１画素あれば足りるため、３×３画素を最小単位としたパッチで処理することが可能となる。

このように、従来の同一画像内のノイズ除去目的のＮＬ−ｍｅａｎｓにおいては、ブロックマッチングのパッチサイズが大きくなってしまったり、色成分毎にパッチサイズが変わってしまうために相関量の指標が異なっていた。
これに対して、本実施形態の複数の画像の合成目的のＮＬ−ｍｅａｎｎｓにおいては、全色成分とも一律の小さいパッチサイズにすることが可能となる。また、相関量の指標も共通とできる。さらに、パッチを同一色成分だけで構成するよりもサンプリング周波数が高くなるため、より詳細なテクスチャの相関も見ることで精度が向上する。

なお、図２の機能ブロックにおいては、上述の式（２）を演算して加重係数ｗｑを算出する係数算出部６１が、合成部５４に設けられている。また、上述の式（３）で演算されたた加重係数ｗｑを用いる上述の式（２）に示す畳み込み演算を実行することで、合成後のＢａｙｅｒ配列画像データの注目画素の画素値Ｉｐ’を算出する画素値算出部６２が、合成部５４に設けられている。

次に、かかる機能的構成を有する撮像装置１が実行する、合成処理について説明する。
図７は、図２の機能構成を有する図１の撮像装置１が実行する、合成処理の流れの一例を示すフローチャートである。
撮像装置１の電源が投入されて所定の条件が満たされると、合成処理が開始されて、次のようなステップＳ１以降の処理が実行される。

ステップＳ１において、擬似輝度画像生成部５２は、Ｂａｙｅｒ画像取得部５１により取得された基準Ｂａｙｅｒ画像ＢＲの擬似輝度マップＢＹを生成する。

ステップＳ２において、擬似輝度画像生成部５２は、Ｂａｙｅｒ画像取得部５１により取得された追加Ｂａｙｅｒ画像ＡＲの擬似輝度マップＡＹを生成する。

ステップＳ３において、射影変換行列生成部５３は、擬似輝度マップＢＹ−擬似輝度マップＡＹ間の射影変換行列Ｈを算出する。

ステップＳ４において、合成部５４は、注目画素（以下、「注目ｐｉｘ」と適宜表記する）がＢＲ画像端であるか否かを判定する。本実施形態では、基準Ｂａｙｅｒ画像ＢＲの各画素が、いわゆるラスター順に順次注目Ｐｉｘに設定されていく。このため、ＢＲ画像端とは、基準Ｂａｙｅｒ画像ＢＲの一番右下の端をいう。
注目ｐｉｘがＢＲ画像端である場合には、ステップＳ４においてＹＥＳであると判定されて、合成処理は終了となる。
これに対して、注目ｐｉｘがＢＲ画像端ではない場合には、ステップＳ４においてＮＯであると判定されて、処理はステップＳ５に進む。

ステップＳ５において、合成部５４は、基準Ｂａｙｅｒ画像ＢＲの注目ｐｉｘを中心とする３×３画素単位の領域Ｎｐを、テンプレートとして取得する。なお、以下、テンプレートとなる領域Ｎｐを、他の領域と区別すべく、「注目領域Ｎｐ」と呼ぶ。

ステップＳ６において、擬似輝度画像生成部５２は、注目領域Ｎｐ内の擬似輝度マップＮｐ’を生成する。

ステップＳ７において、合成部５４は、変換行列Ｈより、追加Ｂａｙｅｒ画像ＡＲ上における同色成分の近傍ｐｉｘ座標を算出する。

ステップＳ８において、合成部５４は、近傍ｐｉｘがサーチ範囲Ｓ端であるか否かを判定する。
近傍ｐｉｘがサーチ範囲Ｓ端である場合には、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ１４に進む。ステップＳ１４以降の処理については、後述する。
これに対して、近傍ｐｉｘがサーチ範囲Ｓ端ではない場合には、ステップＳ８においてＮＯであると判定されて、処理はステップＳ９に進む。

ステップＳ９において、擬似輝度画像生成部５２は、追加Ｂａｙｅｒ画像ＡＲから、近傍ｐｉｘを中心とする３×３の画素単位の領域Ｎｑを取得する。なお、以下、領域Ｎｑを、他の領域と区別すべく、「近傍領域Ｎｑ」と呼ぶ。

ステップＳ１０において、擬似輝度画像生成部５２は、近傍領域Ｎｑ内の擬似輝度マップＢＹを生成する。

ステップＳ１１において、合成部５４は、領域間の相関量Ｄｉｓｔ（Ｎｐ’，Ｎｑ’）を算出する。
ステップＳ１２において、合成部５４は、上述の式（３）を演算することで、近傍ｐｉｘの畳み込み係数ｗｑ、即ち加重係数ｗｑを算出する。

ステップＳ１３において、合成部５４は、上述の式（２）に従って、元の近傍ｐｉｘ値Ｉｑに加重係数ｗｑを掛けて畳み込みを行う。
ステップＳ１３の処理が終了すると、処理はステップＳ７に戻され、それ以降の処理が繰り返し実行される。即ち、近傍ｐｉｘがサーチ範囲Ｓ端に到達するまでの間、ステップＳ７乃至Ｓ１３のループ処理が繰り返し実行されることによって、式（２）の分子である畳み込み演算が実行される。
近傍ｐｉｘがサーチ範囲Ｓ端に到達すると、即ち式（２）の分子の演算が終了すると、ステップＳ８において、ＹＥＳであると判定されて、処理はステップＳ１４に進む。
ステップＳ１４において、合成部５４は、式（２）に従って、加重係数ｗｑの積算値（式（２）の分母）で正規化して、合成後の注目ｐｉｘ値Ｉｐ’（合成後の注目画素の画素値Ｉｐ’）を算出する。

ステップＳ１４の処理が終了すると、処理はステップＳ４に戻され、それ以降の処理が繰り返し実行される。即ち、基準Ｂａｙｅｒ画像ＢＲの各画素が順次注目画素に設定される毎に、ステップＳ４乃至Ｓ１４のループ処理が繰り返し実行されて、畳み込み演算が行われて、合成後の注目ｐｉｘ値Ｉｐ’（合成後の注目画素の画素値Ｉｐ’）が算出される。
このようにして、基準Ｂａｙｅｒ画像ＢＲと追加Ｂａｙｅｒ画像ＡＲとの合成が行われる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

換言すると、本発明が適用される画像処理装置は、上述の実施形態としての撮像装置１を含め、次のような構成を有する、各種各様の実施形態を取ることができる。
即ち、撮像装置１等の画像処理装置は、擬似輝度画像生成部５２と、合成部５４とを備える。
擬似輝度画像生成部５２は、複数種の色成分を有する複数の画像から、前記輝度成分を有する複数の擬似輝度成分画像を生成する。
ここで、上述の実施形態では、複数種の色成分を有する複数の画像として、Ｂａｙｅｒ配列画像データが採用されていた。換言すると、本発明が適用される場合の合成対象は、Ｂａｙｅｒ配列画像データである必要は特になく、色成分と輝度成分とを有する画像であれば足りる。
合成部５４は、複数の画像のうち、所定の１枚を基準画像として、残りを追加画像として、基準画像の注目画素とその隣接画素を所定数含む領域をテンプレートとして、追加画像内の所定の探索範囲におけるテンプレートと同サイズの領域との相関量に基づく係数を用いた畳み込み演算を行うことで、複数の画像を合成する。
ここで、上述の実施形態では、係数として、ＮＬ−Ｍｅａｎｓにおける加重係数ｗｑが採用され、畳み込み演算としては、ＮＬ−Ｍｅａｎｎｓに従った畳み込み演算が採用されていた。換言すると、本発明が適用される合成処理の手法は、ＮＬ−Ｍｅａｎｓに特に限定されず、上述の合成部５４の処理が可能な手法であれば足りる。
このような合成部５４は、基準画像の擬似輝度成分画像からテンプレートを作成して、追加画像の擬似輝度成分画像内の所定の探索範囲におけるテンプレートと同サイズの領域とパターンマッチングをすることで相関量を算出し、当該相関量に基づいて係数を算出する。そして、合成部５４は、係数と、基準画像と、追加画像とを用いて畳み込み演算を行う。
このようにして、色空間変換を伴うことなく入力信号のまま、複数の画像（データ）の合成が可能になる。
さらに、大局的な位置ズレだけでなく、局所的なズレを相殺させることができる。
また、相関量に応じて加重をした畳み込み演算が行われるので、ノイズ低減効果も可能となる。
さらに、パッチ内の相関量に分布に対しパラボラフィッティング等を行うことで、サブピクセルデータを補間することが可能になる。即ち、超解像が可能になる。

さらにまた、撮像装置１等の画像処理装置は、変換行列生成部（上述の実施形態では射影変換行列生成部５３）を備えることもできる。
この場合、変換行列生成部は、基準画像の擬似輝度成分画像と、追加画像の擬似輝度成分画像とに基づいて、グローバル移動ベクトルを算出し、当該グローバル移動ベクトルに基づいて、基準画像の擬似輝度成分画像と追加画像の擬似輝度成分画像との間の変換行列を生成する。
これにより、合成部５４は、当該変換行列を用いて、追加画像の擬似輝度成分画像内の所定の探索範囲におけるテンプレートと同サイズの前記領域を設定することができる。その結果、この探索範囲を小さく絞り込むことが可能になり、効率的なパターンマッチングが実現可能になる。

また、上述の実施形態では、ＮＬ−Ｍｅａｎｓにおける式（１）又は式（３）で用いる強度パラメータｈは、固定とされたがこれに限られるものではない。
以下、強度パラメータｈを可変とする場合の好適な例について説明する。
即ち、画像中のノイズには様々な発生要因のものが存在するが、光子の揺らぎに起因する光ショットノイズ、感度や飽和ムラ、画素欠陥等に起因するノイズは、撮像素子（センサ）への入力信号量に依存してＳ／Ｎ比が変わるものであり、暗部領域において目立ちやすくなる。
このため、暗部領域にあわせて強度パラメータｈが一意に決められてしまう場合には、明部領域においてはノイズ低減効果が強すぎてテクスチャが消滅してしまうことになる。逆に、明部領域にあわせて強度パラメータｈが一意に決められてしまう場合には、暗部領域においてはノイズ低減効果が弱すぎてしまうことになる。
そこで、この例では、強度パラメータｈは、注目画素を中心とした８つの隣接画素を含む３×３の画素単位からなる注目領域Ｎｐの輝度に応じて適応的に可変する。
具体的には例えば、次の式（４）に従って強度パラメータｈが算出される。

式（４）において、Ｍは、注目領域Ｎｐの水平サイズ（水平方向の画素数）を示し、Ｎは、注目領域Ｎｐの垂直サイズ（垂直方向の画素数）を示し、Ｉｉｊは、座標（ｉ，ｊ）における画素の輝度値を示している。
即ち、ｌｏｇｋ内の分子は、注目領域Ｎｐの平均輝度を示している。即ち、式（４）に従った強度パラメータｈは、注目領域Ｎｐの平均輝度に応じて適応的に可変する。
これにより、注目領域Ｎｐの輝度に応じて適切なノイズ低減効果を行えることにより、暗部ノイズを強力に低減させつつも、暗部領域のテクスチャの解像感を損なわないようにすることができる。
なお、強度パラメータｈの可変手法は、ＮＬ−Ｍｅａｎｓ全体に適用できるものであり、上述したように、本発明が適用される式（３）（複数の画像の合成時の式（３））のみならず、従来の式（１）（１枚の画像内でのノイズ除去時の式（１））についても適用可能である。

また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラとしての撮像装置１を例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、パーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、スマートフォンやタブレット等の携帯端末、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。上記実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数種の色成分を有する複数の画像から、輝度成分を有する複数の擬似輝度成分画像を生成する擬似輝度画像生成手段と、
前記複数の画像のうち、所定の１枚を基準画像として、残りを追加画像として、前記基準画像の注目画素とその隣接画素を所定数含む領域をテンプレートとして、前記追加画像内の所定の探索範囲における前記テンプレートと同サイズの領域との相関量に基づく係数を用いた畳み込み演算を行うことで、前記複数の画像を合成する合成手段と、
を備え、
前記合成手段は、
前記基準画像の擬似輝度成分画像からテンプレートを作成して、前記追加画像の擬似輝度成分画像内の所定の探索範囲における前記テンプレートと同サイズの領域とパターンマッチングをすることで前記相関量を算出し、当該相関量に基づいて前記係数を算出し、
前記係数と、前記基準画像と、前記追加画像とを用いて前記畳み込み演算を行う、
ことを特徴とする画像処理装置。
［付記２］
前記合成手段は、ＮＬ−Ｍｅａｎｓに従って、前記畳み込み演算を行い、
前記ＮＬ−Ｍｅａｎｓにおける強度パラメータを、前記テンプレートの輝度に応じて可変設定し、当該強度パラメータを用いて前記係数を算出する係数算出手段をさらに備える、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記基準画像の擬似輝度成分画像と、前記追加画像の擬似輝度成分画像とに基づいて、グローバル移動ベクトルを算出し、当該グローバル移動ベクトルに基づいて、前記基準画像の擬似輝度成分画像と前記追加画像の擬似輝度成分画像との間の変換行列を生成する変換行列生成手段をさらに備え、
前記合成手段は、前記変換行列を用いて、前記追加画像の擬似輝度成分画像内の所定の探索範囲における前記テンプレートと同サイズの前記領域を設定する、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
複数種の色成分を有する複数の画像を合成する画像処理装置が実行する画像処理方法であって、
前記複数の画像から、輝度成分を有する複数の擬似輝度成分画像を生成する擬似輝度画像生成ステップと、
前記複数の画像のうち、所定の１枚を基準画像として、残りを追加画像として、前記基準画像の注目画素とその隣接画素を所定数含む領域をテンプレートとして、前記追加画像内の所定の探索範囲における前記テンプレートと同サイズの領域との相関量に基づく係数を用いた畳み込み演算を行うことで、前記複数の画像を合成する合成ステップと、
を含み
前記合成ステップは、
前記基準画像の擬似輝度成分画像からテンプレートを作成して、前記追加画像の擬似輝度成分画像内の所定の探索範囲における前記テンプレートと同サイズの領域とパターンマッチングをすることで前記相関量を算出し、当該相関量に基づいて前記係数を算出し、
前記係数と、前記基準画像と、前記追加画像とを用いて前記畳み込み演算を行う、
ステップを含むことを特徴とする画像処理方法。
［付記５］
複数種の色成分を有する複数の画像を合成するための制御を実行するコンピュータを、
前記複数の画像から、輝度成分を有する複数の擬似輝度成分画像を生成する擬似輝度画像生成手段、
前記複数の画像のうち、所定の１枚を基準画像として、残りを追加画像として、前記基準画像の注目画素とその隣接画素を所定数含む領域をテンプレートとして、前記追加画像内の所定の探索範囲における前記テンプレートと同サイズの領域との相関量に基づく係数を用いた畳み込み演算を行うことで、前記複数の画像を合成する合成手段、
として機能させ、
前記合成手段を、
前記基準画像の擬似輝度成分画像からテンプレートを作成して、前記追加画像の擬似輝度成分画像内の所定の探索範囲における前記テンプレートと同サイズの領域とパターンマッチングをすることで前記相関量を算出し、当該相関量に基づいて前記係数を算出し、
前記係数と、前記基準画像と、前記追加画像とを用いて前記畳み込み演算を行う、
ように機能させることを特徴とするプログラム。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、５１・・・Ｂａｙｅｒ画像取得部、５２・・・擬似輝度画像生成部、５３・・・射影変換行列生成部、５４・・・合成部、６１・・・係数算出部、６２・・・画素値算出部

Claims (5)

1. 複数種の色成分を有する複数の画像から、輝度成分を有する複数の擬似輝度成分画像を生成する擬似輝度画像生成手段と、
   前記複数の画像のうち、所定の１枚を基準画像として、残りを追加画像として、前記基準画像の注目画素とその隣接画素を所定数含む領域をテンプレートとして、前記追加画像内の所定の探索範囲における前記テンプレートと同サイズの領域との相関量に基づく係数を用いた畳み込み演算を行うことで、前記複数の画像を合成する合成手段と、
   を備え、
   前記合成手段は、
   前記基準画像の擬似輝度成分画像からテンプレートを作成して、前記追加画像の擬似輝度成分画像内の所定の探索範囲における前記テンプレートと同サイズの領域とパターンマッチングをすることで前記相関量を算出し、当該相関量に基づいて前記係数を算出し、
   前記係数と、前記基準画像と、前記追加画像とを用いて前記畳み込み演算を行う、
   ことを特徴とする画像処理装置。
2. 前記合成手段は、ＮＬ−Ｍｅａｎｓに従って、前記畳み込み演算を行い、
   前記ＮＬ−Ｍｅａｎｓにおける強度パラメータを、前記テンプレートの輝度に応じて可変設定し、当該強度パラメータを用いて前記係数を算出する係数算出手段をさらに備える、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記基準画像の擬似輝度成分画像と、前記追加画像の擬似輝度成分画像とに基づいて、グローバル移動ベクトルを算出し、当該グローバル移動ベクトルに基づいて、前記基準画像の擬似輝度成分画像と前記追加画像の擬似輝度成分画像との間の変換行列を生成する変換行列生成手段をさらに備え、
   前記合成手段は、前記変換行列を用いて、前記追加画像の擬似輝度成分画像内の所定の探索範囲における前記テンプレートと同サイズの前記領域を設定する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 複数種の色成分を有する複数の画像を合成する画像処理装置が実行する画像処理方法であって、
   前記複数の画像から、輝度成分を有する複数の擬似輝度成分画像を生成する擬似輝度画像生成ステップと、
   前記複数の画像のうち、所定の１枚を基準画像として、残りを追加画像として、前記基準画像の注目画素とその隣接画素を所定数含む領域をテンプレートとして、前記追加画像内の所定の探索範囲における前記テンプレートと同サイズの領域との相関量に基づく係数を用いた畳み込み演算を行うことで、前記複数の画像を合成する合成ステップと、
   を含み
   前記合成ステップは、
   前記基準画像の擬似輝度成分画像からテンプレートを作成して、前記追加画像の擬似輝度成分画像内の所定の探索範囲における前記テンプレートと同サイズの領域とパターンマッチングをすることで前記相関量を算出し、当該相関量に基づいて前記係数を算出し、
   前記係数と、前記基準画像と、前記追加画像とを用いて前記畳み込み演算を行う、
   ステップを含むことを特徴とする画像処理方法。
5. 複数種の色成分を有する複数の画像を合成するための制御を実行するコンピュータを、
   前記複数の画像から、輝度成分を有する複数の擬似輝度成分画像を生成する擬似輝度画像生成手段、
   前記複数の画像のうち、所定の１枚を基準画像として、残りを追加画像として、前記基準画像の注目画素とその隣接画素を所定数含む領域をテンプレートとして、前記追加画像内の所定の探索範囲における前記テンプレートと同サイズの領域との相関量に基づく係数を用いた畳み込み演算を行うことで、前記複数の画像を合成する合成手段、
   として機能させ、
   前記合成手段を、
   前記基準画像の擬似輝度成分画像からテンプレートを作成して、前記追加画像の擬似輝度成分画像内の所定の探索範囲における前記テンプレートと同サイズの領域とパターンマッチングをすることで前記相関量を算出し、当該相関量に基づいて前記係数を算出し、
   前記係数と、前記基準画像と、前記追加画像とを用いて前記畳み込み演算を行う、
   ように機能させることを特徴とするプログラム。

Images