JP2015026192A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】同一色成分が不連続に並ぶ画像データにおけるブロックマッチングをより適切に行うことができる画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】撮像装置等の画像処理装置は、画像データ取得部と、画像合成部とを備える。画像合成部は、第１の画像の注目画素とその隣接画素を所定数含む注目領域について、色成分から算出される輝度成分によって構成された第１の擬似輝度成分画像を生成し（Ｓ３）、第２の画像において注目画素と同色成分からなる画素とその隣接画素を所定数含む前記注目領域と同サイズのマッチング対象領域について、色成分から算出される輝度成分によって構成された第２の擬似輝度成分画像を生成し（Ｓ９）、第１の擬似輝度成分画像と第２の擬似輝度成分画像とのパターンマッチングを行う。
【選択図】図７

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、Ｂａｙｅｒデータのような同一色成分同士が不連続に並ぶ画像データに対して、差分の小さい領域を探索する目的等のために、ブロックマッチングが行われている。
例えば、連写された２つの画像を合成して高品質な１つの画像を生成する場合、２つの画像において、対応する領域同士を合成する必要があるため、一方の画像における注目領域を基準として、他方の画像における差分の小さい領域が探索される。
なお、ブロックマッチングを用いた画像処理に関する技術は、例えば特許文献１に記載されている。

特開２００５−１３０２８１号公報

しかしながら、Ｂａｙｅｒデータのような同一色成分同士が不連続に並ぶ画像データに対して、ブロックマッチングをベースとした技術を適用する場合、ブロックマッチングの際に用いるパッチサイズが大きくなり過ぎることによる相関量の低下や、色成分毎にパッチサイズが変わってしまうために、相関特性が異なってしまうという事態が生じる。
即ち、従来の技術では、同一色成分が不連続に並ぶ画像データにおけるブロックマッチングを適切に行うことが困難であった。

本発明は、このような状況に鑑みてなされたものであり、同一色成分が不連続に並ぶ画像データにおけるブロックマッチングをより適切に行うことを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
異なる色成分の画素が配列されて構成される第１の画像及び第２の画像を取得する画像取得手段と、
前記第１の画像の注目画素とその隣接画素を所定数含む注目領域について、前記色成分から算出される輝度成分によって構成された第１の擬似輝度成分画像を生成し、前記第２の画像において前記注目画素と同色成分からなる画素とその隣接画素を所定数含む前記注目領域と同サイズのマッチング対象領域について、前記色成分から算出される輝度成分によって構成された第２の擬似輝度成分画像を生成し、前記第１の擬似輝度成分画像と前記第２の擬似輝度成分画像とのパターンマッチングを行うマッチング手段と、
を備えることを特徴とする。

本発明によれば、同一色成分が不連続に並ぶ画像データにおけるブロックマッチングをより適切に行うことが可能となる。

本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成のうち、画像合成処理を実行するための機能的構成を示す機能ブロック図である。 ブロックマッチングをベースとした、ＮＬ−ｍｅａｎｓによるノイズ除去のアルゴリズムについて説明する図である。 Ｇ成分が注目画素とされたときのブロックマッチングの対象を示す図である。 Ｂ成分が注目画素とされたときの従来のブロックマッチングの対象を示す図である。 Ｂ成分が注目画素とされたときの本実施形態のブロックマッチングの対象を示す図である。 図２の機能構成を有する図１の撮像装置が実行する、画像合成処理の流れの一例を示すフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。
本発明に係る画像処理装置は、連写により取得された画像等、２つの画像を合成する際に、一方の画像（基準画像）における注目領域の擬似輝度画像を基準として、他方の画像（追加画像）における同サイズの領域の擬似輝度画像を対象とするＮＬ−ｍｅａｎｓフィルタ処理を実行する。これにより、ＮＬ−ｍｅａｎｓフィルタによるマッチングを行うためのパッチ（比較領域）のサイズを、注目領域の中心画素の色成分（Ｒ，Ｇ，Ｂのいずれか）によらず一定とできる。また、擬似輝度画像において基準画像と追加画像との相関量を算出し、追加画像における画素を、相関量に応じた重み付けを行って、基準画像に畳み込む。これにより、２つの画像において、ＮＬ−ｍｅａｎｓによって検出された相関量に対応した合成を行うことができる。

図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。例えば、ＣＰＵ１１は、後述する画像合成処理のためのプログラムに従って、画像合成処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。例えば、ＲＡＭ１３には、合成する２つの画像（基準画像及び追加画像）のデータや、画像合成処理において生成される各種パラメータが記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。本実施形態においては撮像素子には、Ｂａｙｅｒ配列の色フィルタが装着されている。撮像素子は、一定時間毎に、その間に入射されて蓄積された被写体像の光信号を光電変換（撮像）して、その結果得られるアナログの電気信号をＡＦＥに順次供給する。
ＡＦＥは、このアナログの電気信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。本実施形態においては、ＡＦＥからは、Ｂａｙｅｒ配列画像データが、撮像画像のデータとして出力される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような撮像装置１の機能的構成のうち、画像合成処理を実行するための機能的構成を示す機能ブロック図である。
画像合成処理とは、連写された２つの画像等、基準となる画像（基準画像）の画素に対して、他の画像（追加画像）の画素を畳み込んで画像を合成する一連の処理をいう。
画像合成処理が実行される場合には、ＣＰＵ１１においては、画像データ取得部５１と、画像合成部５２と、が機能する。

なお、画像データ取得部５１及び画像合成部５２の各機能は、本実施形態のようにＣＰＵ１１に搭載されている必要は特になく、これらの各機能のうち少なくとも一部をＧＡ（Ｇｒａｐｈｉｃ Ａｃｃｅｌｅｒａｔｏｒ）等の画像処理を行う機能部に移譲させることも可能である。

画像データ取得部５１は、ＲＡＭ１３に記憶されている基準画像のデータと追加画像のデータとを取得する。本実施形態において、基準画像及び追加画像は、例えば０．５秒以内に連写により撮影された画像であり、これらの画像において相関性に応じて画素を畳み込むことで、より高品質な１つの合成画像が得られる。

画像合成部５２は、基準画像における注目画素を中心とした８つの隣接画素を含む３×３の画素単位（パッチ）からなる領域（以下、「注目領域」と呼ぶ。）Ｎｐを取得し、注目領域Ｎｐの擬似輝度マップＮｐ’を生成する。擬似輝度マップとは、Ｂａｙｅｒ配列のパッチの画像データのうち、各色成分のデータに基づいて演算された擬似的な輝度値を、各画素毎に画素値として有するパッチサイズの画像データをいう。
また、画像合成部５２は、擬似輝度マップＮｐ’に含まれる輝度値の平均値（平均輝度）を算出し、輝度値の平均値に応じて、画像を合成する際に用いるフィルタの強度を表す強度パラメータｈを算出する。例えば、画像合成部５２は、強度パラメータｈとして、擬似輝度マップＮｐ’に含まれる輝度値の平均値に比例する値等を算出する。

さらに、画像合成部５２は、追加画像のサーチ範囲Ｓにおいて、注目領域Ｎｐとのマッチングを行う対象の領域（以下、「近傍領域」と呼ぶ。）Ｎｑを取得する。近傍領域Ｎｑは、追加画像における１つの画素（以下、「近傍画素」と呼ぶ。）を中心とした８つの隣接画素を含む３×３の画素単位（パッチ）からなる領域である。近傍画素は、追加画像のサーチ範囲Ｓにおいて、注目領域Ｎｐにおける注目画素と同色成分の各画素である。画像合成部５２は、近傍領域Ｎｑの擬似輝度マップＮｑ’を生成し、擬似輝度マップＮｐ’，Ｎｑ’の相関量に基づいて、近傍画素を畳み込むための係数ｗｑを算出する。そして、画像合成部５２は、近傍画素に畳み込みの係数ｗｑを乗算して畳み込み、この値を畳み込みの係数ｗｑの積算値で除算することにより正規化する。この結果、合成画像の注目画素の値が算出される。このような畳み込み演算により、合成画像の注目画素についてのノイズ低減効果も実現される。
画像合成部５２は、基準画像の各画素を注目画素に順次設定して、上述の一連の処理を繰り返すことで、基準画像と追加画像とを合成する。

さらに以下、図３乃至図５を適宜参照して、画像合成部５２による合成の処理について詳しく説明する。

本実施形態では、画像合成部５２による合成の処理に対して、ブロックマッチングをベースとした、ＮＬ−ｍｅａｎｓによるノイズ除去のアルゴリズムが適用されている。
そこで先ず図３を参照して、従来の用途でのＮＬ−ｍｅａｎｓのアルゴリズムについて説明する。

図３は、ブロックマッチングをベースとした、ＮＬ−ｍｅａｎｓによるノイズ除去のアルゴリズムについて説明する図である。
図３に示すように、従来のＮＬ−ｍｅａｎｓにおいては、１枚の画像内の各画素毎のノイズ除去を目的として、当該１枚の画像内でブロックマッチングが行われていた。
具体的には、ＮＬ−ｍｅａｎｓでは、注目画素（画素値Ｉｐ）を中心とした８つの隣接画素を含む３×３の画素単位からなる注目領域Ｎｐが、マッチングを行うためのテンプレートとなる。

そして、注目画素の周辺について注目領域Ｎｐと同様の画素単位（同一サイズ）の近傍領域Ｎｑが、マッチングの相手となる。即ち、マッチングでは、次の式（１）に示すように、テンプレートの注目領域Ｎｐと、サーチ範囲Ｓ内における各近傍領域Ｎｑとの相関量が求められる。

式（１）において、ｗｑは、近傍画素の加重係数（畳み込みの係数）を示しており、ｈは、強度パラメータを示している。
この式（１）の中括弧内の分子Ｄｉｓｔ（Ｎｐ，Ｎｑ）が相関量であり、例えば、注目領域Ｎｐと近傍領域Ｎｑ内にそれぞれ含まれる要素ベクトル間のＬ１またはＬ２ノルムが採用されてもよいし、ヒストグラム距離が採用されてもよい。
この相関量が強度パラメータｈで除算されて指数関数として求められた加重係数ｗｑが、テンプレートの近傍領域Ｎｑの中心に位置する近傍画素の画素値Ｉｑに対する畳み込みの係数として用いられる。

即ち、ノイズ除去後の注目画素の画素値Ｉｐ’は、次の式（２）に示す畳み込み演算によって求められる。換言すると、式（２）は、サーチ範囲Ｓをタップサイズとする加重フィルタを示している。

式（２）において、分子は、サーチ範囲Ｓ内の各画素値Ｉｑとそれぞれに対する加重係数ｗｑを掛けて積和したものを示している。分母は、加重係数ｗｑの総和であり、正規化するために用いられている。

以上図３を用いて説明したように、従来のＮＬ−ｍｅａｎｓにおいては、１枚の画像の各画素毎のノイズ除去を目的として、当該１枚の画像内でブロックマッチングが行われる。
これに対して、本実施形態のＮＬ−ｍｅａｎｓにおいては、複数のＢａｙｅｒ配列の画像データ（基準画像と追加画像）の合成及びそれに伴うノイズ除去を目的として、当該複数のＢａｙｅｒ配列の画像データ（基準画像と追加画像）間でブロックマッチングが行われる。

このとき、本実施形態のＮＬ−ｍｅａｎｓにおいては、複数のＢａｙｅｒ配列の画像における注目領域及び近傍領域を同一サイズの領域として取得し、これらの擬似輝度マップを生成した上で、擬似輝度マップ間のブロックマッチングが行われる。
即ち、本実施形態では、次の式（３）に示すように、同一サイズの擬似輝度マップＮｐ’，Ｎｑ’について相関量Ｄｉｓｔ（Ｎｐ’，Ｎｑ’）が求められ、当該相関量Ｄｉｓｔ（Ｎｐ’，Ｎｑ’）に基づいて加重係数ｗｑが求められる。

本実施形態では、この式（３）で求められた加重係数ｗｑが、テンプレートの近傍領域Ｎｑの中心に位置する近傍画素の画素値Ｉｑに対する畳み込みの係数として用いられる。
即ち、合成後のＢａｙｅｒ配列の画像データにおける注目画素の画素値Ｉｐ’は、式（３）で演算された加重係数ｗｑを用いる上述の式（２）に示す畳み込み演算によって求められる。

ここで、従来の同一画像内のノイズ除去を目的とするＮＬ−ｍｅａｎｓにおいては、ブロックマッチングの対象がＢａｙｅｒ配列の画像データである場合、パッチ（比較相手の近傍領域Ｎｑ）内には同一色成分が複数存在することが条件となる。
これに対して、本実施形態の複数の画像の合成を目的とするＮＬ−ｍｅａｎｓにおいては、ブロックマッチングの対象がＢａｙｅｒ配列の画像データである場合、式（３）で示されるように、パッチ内の擬似輝度成分を使って相関量Ｄｉｓｔ（Ｎｐ’，Ｎｑ’）が算出されるため、図４や図６に示すように、パッチ内には注目画素の色成分は少なくとも１つあれば足りる。

図４は、Ｇ成分が注目画素とされたときのブロックマッチングの対象を示す図である。
Ｇ成分が注目画素とされ、当該注目画素を中心とする３×３画素単位のテンプレートの注目領域Ｎｐが設定されている。この場合、マッチングの相手となる周辺の近傍領域Ｎｑも、同様のパッチ内に５画素のＧ成分をもつために、従来と本実施形態の両方とも、３×３画素を最小単位としたパッチで処理することが可能となる。

図５は、Ｂ成分が注目画素とされたときの従来のブロックマッチングの対象を示す図である。
注目画素をＢ成分とする場合には、従来においては、図５に示すように、最低でも５×５画素を最小単位としたパッチが必要とされた。このため、パッチサイズが大きくなってしまったり、色成分毎にパッチサイズが変わってしまうために相関量の指標が異なったりしてしまう。
これに対して、本実施形態では、マッチングの相手となる近傍領域Ｎｑは、Ｂ成分が少なくとも１画素あれば足りるため、３×３画素を最小単位としたパッチで処理することが可能となる。

図６は、Ｂ成分が注目画素とされたときの本実施形態のブロックマッチングの対象を示す図である。
図６においては、Ｂ成分を１画素含む３×３画素のパッチが近傍領域Ｎｑとなっている。

このように、従来の同一画像内のノイズ除去目的のＮＬ−ｍｅａｎｓにおいては、ブロックマッチングのパッチサイズが大きくなってしまったり、色成分毎にパッチサイズが変わってしまうために相関量の指標が異なったりしていた。
これに対して、本実施形態の複数の画像の合成目的のＮＬ−ｍｅａｎｎｓにおいては、全色成分とも一律の小さいパッチサイズにすることが可能となる。また、相関量の指標も共通とできる。さらに、パッチを同一色成分だけで構成するよりもサンプリング周波数が高くなるため、より詳細なテクスチャの相関も見ることで精度が向上する。

次に、かかる機能的構成を有する撮像装置１が実行する、画像合成処理について説明する。
図７は、図２の機能構成を有する図１の撮像装置１が実行する、画像合成処理の流れの一例を示すフローチャートである。
撮像装置１の電源が投入されて所定の条件が満たされると、画像合成処理が開始されて、次のようなステップＳ１以降の処理が実行される。

ステップＳ１において、画像合成部５２は、注目画素が基準画像端に位置しているか否かの判定を行う。本実施形態では、基準画像の各画素が、いわゆるラスター順に順次注目画素に設定されていく。このため、基準画像端とは、基準画像の一番右下の端をいう。
注目画素が基準画像端に位置している場合、ステップＳ１においてＹＥＳと判定されて、画像合成処理は終了する。
これに対し、注目画素が基準画像端に位置していない場合、ステップＳ１においてＮＯと判定されて、処理はステップＳ２に移行する。
ステップＳ２において、画像合成部５２は、基準画像における注目領域Ｎｐの画素データを取得する。

ステップＳ３において、画像合成部５２は、注目領域Ｎｐ内の擬似輝度マップＮｐ’を生成する。
ステップＳ４において、画像合成部５２は、擬似輝度マップＮｐ’内の画素値（輝度値）の平均値を算出する。
ステップＳ５において、画像合成部５２は、擬似輝度マップＮｐ’内の画素値（輝度値）の平均値を基に、強度パラメータｈを算出する。
ステップＳ６において、画像合成部５２は、近傍領域Ｎｑの中心画素（近傍画素）が追加画像におけるサーチ範囲Ｓ端（サーチ範囲Ｓにおける一番右下の画素）に位置しているか否かの判定を行う。

近傍領域Ｎｑの中心画素が追加画像におけるサーチ範囲Ｓ端に位置していない場合、ステップＳ６においてＮＯと判定されて、処理はステップＳ７に進む。
これに対し、近傍領域Ｎｑの中心画素が追加画像におけるサーチ範囲Ｓ端に位置している場合、ステップＳ６においてＹＥＳと判定されて、処理はステップＳ１３に進む。
ステップＳ７において、画像合成部５２は、近傍領域Ｎｑの中心画素が注目領域Ｎｐにおける注目画素と同一の色成分であるか否かの判定を行う。
近傍領域Ｎｑの中心画素が注目領域Ｎｐにおける注目画素と同一の色成分である場合、ステップＳ７においてＹＥＳと判定されて、処理はステップＳ８に進む。
これに対し、近傍領域Ｎｑの中心画素が注目領域Ｎｐにおける注目画素と同一の色成分でない場合、ステップＳ７においてＮＯと判定されて、処理はステップＳ６に戻る。

ステップＳ８において、画像合成部５２は、追加画像における近傍領域Ｎｑの画素データを取得する。
ステップＳ９において、画像合成部５２は、近傍領域Ｎｑ内の擬似輝度マップＮｑ’を生成する。
ステップＳ１０において、画像合成部５２は、注目領域Ｎｐ及び近傍領域Ｎｑそれぞれにおける擬似輝度マップＮｐ’，Ｎｑ’に基づいて、領域間相関量Ｄｉｓｔ（Ｎｐ’，Ｎｑ’）を算出する。

ステップＳ１１において、画像合成部５２は、式（３）に従って、近傍領域Ｎｑの中心画素の加重係数ｗｑを算出する。
ステップＳ１２において、画像合成部５２は、近傍領域Ｎｑの中心画素の元の画素値Ｉｑに加重係数ｗｑを乗算して畳み込み（ｗｑ×Ｉｑ）を行う。
ステップＳ１２の処理が終了すると、処理はステップＳ６に戻され、それ以降の処理が繰り返し実行される。即ち、近傍領域の中心画素がサーチ範囲Ｓ端に到達するまでの間、ステップＳ６乃至Ｓ１２のループ処理が繰り返し実行されることによって、式（２）の分子である畳み込み演算が実行される。
近傍領域の中心画素がサーチ範囲Ｓ端に到達すると、即ち式（２）の分子の演算が終了すると、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、画像合成部５２は、式（２）に従って、加重係数ｗｑの積算値（式（２）の分母）で正規化して、合成後の画素値Ｉｐ’を算出する。
ステップＳ１３の後、処理はステップＳ１に戻る。
このようにして、基準画像と追加画像との合成が行われる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

換言すると、本発明が適用される画像処理装置は、上述の実施形態としての撮像装置１を含め、次のような構成を有する、各種各様の実施形態を取ることができる。

即ち、撮像装置１等の画像処理装置は、画像データ取得部５１と、画像合成部５２とを備える。
画像データ取得部５１は、異なる色成分の画素が配列されて構成される第１の画像（基準画像）及び第２の画像（追加画像）を取得する。
ここで、上述の実施形態では、異なる色成分の画素が配列されて構成される画像として、Ｂａｙｅｒ配列の画像データが採用されていた。換言すると、本発明が適用される場合の合成対象は、Ｂａｙｅｒ配列の画像データである必要は特になく、異なる色成分の画素が配列されて構成される画像であれば足りる。
画像合成部５２は、第１の画像の注目画素とその隣接画素を所定数含む注目領域について、色成分から算出される輝度成分によって構成された第１の擬似輝度成分画像（擬似輝度マップＮｐ’）を生成し、第２の画像において注目画素と同色成分からなる画素とその隣接画素を所定数含む前記注目領域と同サイズのマッチング対象領域について、色成分から算出される輝度成分によって構成された第２の擬似輝度成分画像（擬似輝度マップＮｑ’）を生成し、第１の擬似輝度成分画像と第２の擬似輝度成分画像とのパターンマッチングを行う。

これにより、マッチングのために用いるパッチ（注目領域）のサイズを、注目領域の中心画素の色成分によらず一定とできる。また、全色成分とも一律の小さいパッチサイズにすることが可能となる。また、相関量の指標も共通とできる。さらに、パッチを同一色成分だけで構成するよりもサンプリング周波数が高くなるため、より詳細なテクスチャの相関も見ることで精度が向上する。
即ち、本実施形態の画像処理装置によれば、同一色成分が不連続に並ぶ画像データにおけるブロックマッチングをより適切に行うことが可能となる。

また、画像合成部５２は、第１の画像における注目画素が位置する領域の画素値の平坦度合いに基づいて、前記注目領域のサイズを変化させる。
ここで、上述の実施形態では、注目領域として設定されるパッチサイズを３×３等の固定値としたがこれに限られるものではない。
例えば、基準画像において注目領域が含まれる領域が平坦であるか否かに応じて、パッチサイズを変化させることができる。具体的には、注目領域が含まれる領域が平坦であれば、パッチサイズをより大きくすることが望ましい。
これにより、ＮＬ−ｍｅａｎｓフィルタを用いて、より適切に相関性が高い領域を検出することができる。また、ノイズ除去効果及び合成画像の高精細化を実現できる。

また、画像合成部５２は、第１の画像における注目画素が位置する領域の画素値の分散、微分値及び２次微分値の少なくともいずれかに基づいて、注目領域のサイズを変化させる。
即ち、注目領域が含まれる領域が平坦であるか否かは、例えば、注目領域周辺の予め設定された範囲の画素の画素値について、分散、微分値あるいは２次微分値等を算出し、その値が示す平坦度合いに応じて判定することができる。

また、画像合成部５２は、ＮＬ−ｍｅａｎｓに従って第１の擬似輝度成分画像と第２の擬似輝度成分画像との相関量を算出し、相関量に応じた係数を設定することで、注目領域に対するマッチング対象領域の重み付けを行う。
これにより、第１の画像及び第２の画像が、同一色成分が不連続に並ぶ画像であっても、ＮＬ−ｍｅａｎｓフィルタを用いて第１の画像に第２の画像を畳み込む処理におけるマッチングの処理をより適切に行うことが可能となる。
ここで、上述の実施形態では、係数として、ＮＬ−ｍｅａｎｓにおける加重係数ｗｑが採用され、畳み込み演算としては、ＮＬ−ｍｅａｎｓに従った畳み込み演算が採用されていた。換言すると、本発明が適用される合成処理の手法は、ＮＬ−ｍｅａｎｓに特に限定されず、上述の画像合成部５２の処理が可能な手法であれば足りる。

このようにして、色空間変換を伴うことなく入力信号のまま、複数の画像（データ）の合成が可能になる。
さらに、大局的な位置ズレだけでなく、局所的なズレを相殺させることができる。
また、相関量に応じて加重をした畳み込み演算が行われるので、ノイズ低減効果も可能となる。
さらに、パッチ内の相関量に分布に対しパラボラフィッティング等を行うことで、サブピクセルデータを補間することが可能になる。即ち、超解像が可能になる。

また、上述の実施形態では、ＮＬ−ｍｅａｎｓにおける式（１）または式（３）で用いる強度パラメータｈとして、擬似輝度マップＮｐ’に含まれる輝度値の平均値に比例する値を例に挙げて説明したが、強度パラメータｈは種々の方法によって、適応的に可変することが可能である。
以下、強度パラメータｈを可変とする場合の好適な例について説明する。
即ち、画像中のノイズには様々な発生要因のものが存在するが、光子の揺らぎに起因する光ショットノイズ、感度や飽和ムラ、画素欠陥等に起因するノイズは、撮像素子（センサ）への入力信号量に依存してＳ／Ｎ比が変わるものであり、暗部領域において目立ちやすくなる。

このため、暗部領域にあわせて強度パラメータｈが一意に決められてしまう場合には、明部領域においてはノイズ低減効果が強すぎてテクスチャが消滅してしまうことになる。逆に、明部領域にあわせて強度パラメータｈが一意に決められてしまう場合には、暗部領域においてはノイズ低減効果が弱すぎてしまうことになる。
そこで、この例では、強度パラメータｈは、注目画素を中心とした８つの隣接画素を含む３×３の画素単位からなる注目領域Ｎｐの輝度に応じて適応的に可変する。

具体的には例えば、次の式（４）に従って強度パラメータｈが算出される。

式（４）において、Ｍは、注目領域Ｎｐの水平サイズ（水平方向の画素数）を示し、Ｎは、注目領域Ｎｐの垂直サイズ（垂直方向の画素数）を示し、Ｉｉｊは、座標（ｉ，ｊ）における画素の輝度値を示している。
即ち、ｌｏｇｋ内の分子は、注目領域Ｎｐの平均輝度を示している。即ち、式（４）に従った強度パラメータｈは、注目領域Ｎｐの平均輝度に応じて適応的に可変する。
これにより、注目領域Ｎｐの輝度に応じて適切なノイズ低減効果を行えることにより、暗部ノイズを強力に低減させつつも、暗部領域のテクスチャの解像感を損なわないようにすることができる。

なお、強度パラメータｈの可変手法は、ＮＬ−ｍｅａｎｓ全体に適用できるものであり、上述したように、本発明が適用される式（３）（複数の画像の合成時の式（３））のみならず、従来の式（１）（１枚の画像内でのノイズ除去時の式（１））についても適用可能である。
また、強度パラメータｈを可変とする場合、式（４）における分子の画素値に対して、注目画素を中心とする画素位置に応じて、ガウス分布に基づく重み付けを行うこととしてもよい。この場合、注目画素と注目領域における周辺の画素との重みをより適切に設定することが可能となる。
さらに、強度パラメータｈを可変とする場合、注目画素の輝度値に応じて、注目画素の輝度値が特異であれば強度パラメータｈを弱めることとしてもよい。この場合、ノイズである可能性が高い注目画素の影響を抑制できる。

また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラとしての撮像装置１を例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、パーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、スマートフォンやタブレット等の携帯端末、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。上記実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
異なる色成分の画素が配列されて構成される第１の画像及び第２の画像を取得する画像取得手段と、
前記第１の画像の注目画素とその隣接画素を所定数含む注目領域について、前記色成分から算出される輝度成分によって構成された第１の擬似輝度成分画像を生成し、前記第２の画像において前記注目画素と同色成分からなる画素とその隣接画素を所定数含む前記注目領域と同サイズのマッチング対象領域について、前記色成分から算出される輝度成分によって構成された第２の擬似輝度成分画像を生成し、前記第１の擬似輝度成分画像と前記第２の擬似輝度成分画像とのパターンマッチングを行うマッチング手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記マッチング手段は、前記第１の画像における前記注目画素が位置する領域の画素値の平坦度合いに基づいて、前記注目領域のサイズを変化させることを特徴とする付記１に記載の画像処理装置。
［付記３］
前記マッチング手段は、前記第１の画像における前記注目画素が位置する領域の画素値の分散、微分値及び２次微分値の少なくともいずれかに基づいて、前記注目領域のサイズを変化させることを特徴とする付記１または２に記載の画像処理装置。
［付記４］
前記マッチング手段は、ＮＬ−ｍｅａｎｓに従って前記第１の擬似輝度成分画像と前記第２の擬似輝度成分画像との相関量を算出し、前記相関量に応じた係数を設定することで、前記注目領域に対する前記マッチング対象領域の重み付けを行うことを特徴とする付記１から３のいずれか１つに記載の画像処理装置。
［付記５］
異なる色成分の画素が配列されて構成される第１の画像及び第２の画像を取得する画像取得ステップと、
前記第１の画像の注目画素とその隣接画素を所定数含む注目領域について、前記色成分から算出される輝度成分によって構成された第１の擬似輝度成分画像を生成し、前記第２の画像において前記注目画素と同色成分からなる画素とその隣接画素を所定数含む前記注目領域と同サイズのマッチング対象領域について、前記色成分から算出される輝度成分によって構成された第２の擬似輝度成分画像を生成し、前記第１の擬似輝度成分画像と前記第２の擬似輝度成分画像とのパターンマッチングを行うマッチングステップと、
を含むことを特徴とする画像処理方法。
［付記６］
コンピュータに、
異なる色成分の画素が配列されて構成される第１の画像及び第２の画像を取得する画像取得機能と、
前記第１の画像の注目画素とその隣接画素を所定数含む注目領域について、前記色成分から算出される輝度成分によって構成された第１の擬似輝度成分画像を生成し、前記第２の画像において前記注目画素と同色成分からなる画素とその隣接画素を所定数含む前記注目領域と同サイズのマッチング対象領域について、前記色成分から算出される輝度成分によって構成された第２の擬似輝度成分画像を生成し、前記第１の擬似輝度成分画像と前記第２の擬似輝度成分画像とのパターンマッチングを行うマッチング機能と、
を実現させることを特徴とするプログラム。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、５１・・・画像データ取得部、５２・・・画像合成部

Claims (6)

1. 異なる色成分の画素が配列されて構成される第１の画像及び第２の画像を取得する画像取得手段と、
   前記第１の画像の注目画素とその隣接画素を所定数含む注目領域について、前記色成分から算出される輝度成分によって構成された第１の擬似輝度成分画像を生成し、前記第２の画像において前記注目画素と同色成分からなる画素とその隣接画素を所定数含む前記注目領域と同サイズのマッチング対象領域について、前記色成分から算出される輝度成分によって構成された第２の擬似輝度成分画像を生成し、前記第１の擬似輝度成分画像と前記第２の擬似輝度成分画像とのパターンマッチングを行うマッチング手段と、
   を備えることを特徴とする画像処理装置。
2. 前記マッチング手段は、前記第１の画像における前記注目画素が位置する領域の画素値の平坦度合いに基づいて、前記注目領域のサイズを変化させることを特徴とする請求項１に記載の画像処理装置。
3. 前記マッチング手段は、前記第１の画像における前記注目画素が位置する領域の画素値の分散、微分値及び２次微分値の少なくともいずれかに基づいて、前記注目領域のサイズを変化させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記マッチング手段は、ＮＬ−ｍｅａｎｓに従って前記第１の擬似輝度成分画像と前記第２の擬似輝度成分画像との相関量を算出し、前記相関量に応じた係数を設定することで、前記注目領域に対する前記マッチング対象領域の重み付けを行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 異なる色成分の画素が配列されて構成される第１の画像及び第２の画像を取得する画像取得ステップと、
   前記第１の画像の注目画素とその隣接画素を所定数含む注目領域について、前記色成分から算出される輝度成分によって構成された第１の擬似輝度成分画像を生成し、前記第２の画像において前記注目画素と同色成分からなる画素とその隣接画素を所定数含む前記注目領域と同サイズのマッチング対象領域について、前記色成分から算出される輝度成分によって構成された第２の擬似輝度成分画像を生成し、前記第１の擬似輝度成分画像と前記第２の擬似輝度成分画像とのパターンマッチングを行うマッチングステップと、
   を含むことを特徴とする画像処理方法。
6. コンピュータに、
   異なる色成分の画素が配列されて構成される第１の画像及び第２の画像を取得する画像取得機能と、
   前記第１の画像の注目画素とその隣接画素を所定数含む注目領域について、前記色成分から算出される輝度成分によって構成された第１の擬似輝度成分画像を生成し、前記第２の画像において前記注目画素と同色成分からなる画素とその隣接画素を所定数含む前記注目領域と同サイズのマッチング対象領域について、前記色成分から算出される輝度成分によって構成された第２の擬似輝度成分画像を生成し、前記第１の擬似輝度成分画像と前記第２の擬似輝度成分画像とのパターンマッチングを行うマッチング機能と、
   を実現させることを特徴とするプログラム。

Images