JP2012004787A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】単板カラー撮像素子による撮影処理によって生成される色モザイク画像の補間処理を実行する装置および方法を提供する。
【解決手段】単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力し、画素補間位置に対応する画素値の低周波成分と、ノイズの高周波成分を推定し、これらの加算結果を適用して画素補間位置の画素値を算出する。エッジ適応補間処理部では、画素補間位置における画素値を、エッジ方向にある参照画素の画素値を利用して算出する。ブレンド処理部が、エッジ適応補間画素値と、画素補間位置に対応する画素値の低周波成分とノイズの高周波成分の加算結果を画素補間位置の平坦度に応じてブレンドして最終的な補間画素値を算出する。
【選択図】図２

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に単板式の撮像素子の出力に対する信号処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。

撮像装置の撮像素子（イメージセンサ）として単板式の固体撮像素子を用いた撮影処理においては、撮像素子上に各画素に対応させたＲＧＢ等の特定色の波長成分を透過するカラーフィルタを配置してカラー撮影を行う。この方法では、画素毎に１色（例えばＲＧＢのいずれか）しか得られないため、色に応じてモザイク状になった画像が生成される。

撮像装置に用いられる色フィルタの一例を図１（１）に示す。この配列は、ベイヤー（Ｂａｙｅｒ）配列と呼ばれ、各画素単位で特定の波長成分光（Ｒ，Ｇ，Ｂ）を透過させる。ベイヤー配列は、緑（Ｇ）を透過するフィルタが２個、青（Ｂ）を透過するフィルタが１個、赤（Ｒ）を透過するフィルタが１個の４画素を最小単位として構成される。

このようなフィルタを介して得られる画像は、各画素各々に対してＲまたはＧまたはＢ等、フィルタのパターンに応じた色情報のみからなる画像となる。この画像はいわゆるモザイク画像と呼ばれる。このモザイク画像からカラー画像を生成するためには、各画素のすべてについてＲＧＢのすべての色情報を生成する必要がある。

各画素において周囲の画素から得られる色情報を利用して補間を行うことにより全ての画素に対応する全ての色情報（例えばＲＧＢのすべて）を算出してカラー画像を生成することができる。この補間処理はデモザイク処理と呼ばれる。すなわち、図１（１）の撮影信号に基づいて、各画素単位すべての色情報（ＲＧＢ）を生成して図１（２）に示す画像信号を得る処理を補間処理、デモザイク処理、あるいはアップサンプリング処理等と呼ぶ。

この色を補間する処理（デモザイク処理）については、例えば特許文献１（ＵＳＰ４６４２６７８号公報）を始め、様々な手法が提案されている。
それらの中でも、特許文献２（ＵＳＰ５６５２６２１号公報）や特許文献３（特開平７−２３６１４７号公報）で述べられている相関の高い方向の信号を用いて不明な色を補間する方法は、信号の高周波成分まで精度良く補間できることが知られている。

これらの従来処理では、信号のＳ／Ｎ比が良く、信号に重畳しているノイズが無視できるということを暗に仮定して処理を行っていた。

しかし、近年、撮像素子の微細化が進むにつれて、撮像された画像のＳ／Ｎが悪化して来たために、相関の検出が困難になりつつある。
Ｓ／Ｎの悪い画像に対して相関を利用した従来手法を用いると、画像の平坦部においてノイズを信号と誤認して相関検出を行い、本来存在しない高周波成分を含んだ補間画素値を生成してしまうという問題（通称：Ｍａｚｅ Ａｒｔｉｆａｃｔ）が発生する。

一方、画像の平坦部において相関処理を行わず、等方的な線形補間処理を行った場合には、前記の問題は起こらない。しかし、撮像された画素と補間された画素を比較すると、後者にはノイズの高周波成分が含まれていないため、視覚的に不自然な補間結果となる。このように、従来のデモザイク処理では、平坦部において視覚的に好ましい状態で補間された補間画像を得ることが難しかった。

画像の平坦部における画質を向上させる処理については、デモザイク処理とは別の画像処理分野で様々な手法が提案されてきた。
画像を拡大すると画像の平坦部に高周波成分が不足し、ボケた画像になるという問題は一般的に知られており、例えば、特許文献４（特開２００８−２６３４６５号公報）では画像のフラクタル性を利用し、拡大画像の平坦部に高周波成分を付加してより自然な拡大画像を生成する方法を提案している。

また、ノイズリダクションによって失われた画像の粒状性（高周波成分）を、ノイズリダクション後に改めて高周波ノイズを付加することで、自然な画像に復元する方法が特許文献５（特開２００７−２８３４８号公報）において提案されている。

また、画像の平坦部に高周波を含むノイズを加算することで、平坦部における低周波ノイズを低減し、認識させづらくさせる方法が特許文献６（特開２００４−３０４６５８号公報）において提案されている。

このように、画像の平坦部に何らかの信号を付加することで画像の見えを改善する方法は、数多く考案されてきたが撮像された色のモザイク画像に対して直接適用できるものではなかった。

デモザイク処理においては、撮像された画素値は真の値であることから変更する必要が無く、補間画素位置の画素値のみを推定すれば良い。
そのため、平坦部においてノイズを加算する場合も、補間画素位置にのみ加算し、加算するノイズはセンサの特性を考慮して、撮像された画素と補間された画素に含まれるノイズ量が確率的に揃うようなノイズにしなければ、自然な見た目にはならない。
このようにデモザイク処理において平坦部を自然に補間するためには、従来方式が考慮していなかった条件を考慮しなければならない。

ＵＳＰ４６４２６７８号公報 ＵＳＰ５６５２６２１号公報 特開平７−２３６１４７号公報 特開２００８−２６３４６５号公報 特開２００７−２８３４８号公報 特開２００４−３０４６５８号公報

本発明は、例えば上述の問題点に鑑みてなされたものであり、単板カラー撮像素子を用いて撮影されたモザイク画像の補間処理を高精度に行い、高品質なカラー画像の生成を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の一実施例においては、例えば、エッジにおいては信号が低周波成分から高周波成分まで十分に復元された補間値が生成され、平坦部においてはセンサのノイズ特性が十分に復元された補間値を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

色のモザイク画像に対する補間処理は、補間画像の全ての画素位置において全ての色が視覚的に好ましい方法で揃えることが求められ、エッジ部における視覚的な好ましさとは、エッジ部の全画素位置において信号が低周波から高周波まで正しく存在することであり、平坦部における視覚的な好ましさとは、平坦部の全画素位置においてノイズ特性が揃っていることである。

本発明の第１の側面は、
単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して画素補間位置に対応する画素値の低周波成分を算出する低周波成分算出処理部と、
前記色モザイク画像を入力して画素補間位置に対応するノイズの高周波成分を推定するノイズ推定部と、
前記画素補間位置に対応する画素値の低周波成分とノイズの高周波成分との加算結果を適用して前記画素補間位置の画素値を算出するブレンド処理部を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、前記画素補間位置の平坦度を算出する平坦部検出部と、前記画素補間位置における画素値を、エッジ方向にある参照画素の画素値を利用して算出するエッジ適応補間処理部を有し、前記ブレンド処理部は、前記平坦部検出部の算出した平坦度を、前記画素補間位置に対応する画素値の低周波成分とノイズの高周波成分との加算結果と、前記エッジ適応補間処理部の算出した画素値とのブレンド比率として設定したブレンド処理を実行して前記画素補間位置の画素値を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記平坦部検出部は、前記画素補間位置近傍の画素値分布を示す統計量と、既定のノイズモデルとを比較して前記画素補間位置の平坦度を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記平坦部検出部は、前記画素補間位置近傍の画素値分布を示す統計量として画素値の分散を算出して、既定のノイズモデルとを比較して前記画素補間位置の平坦度を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記平坦部検出部は、前記画素補間位置近傍の画素値分布を示す統計量として画素値と画素値平均値との差分絶対値の総和を算出して、既定のノイズモデルとを比較して前記画素補間位置の平坦度を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記平坦部検出部は、前記画素補間位置近傍の局所領域の水平方向高周波成分と垂直方向高周波成分との差分に基づいて前記画素補間位置の平坦度を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記平坦部検出部は、前記画素補間位置における高周波成分に基づいて前記画素補間位置の平坦度を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記エッジ適応補間処理部は、前記画素補間位置における画素値を、エッジ方向にある参照画素の画素値を利用した線形補間処理によって算出する。

さらに、本発明の画像処理装置の一実施態様において、前記ノイズ推定部は、前記画素補間位置におけるノイズの高周波成分を、該補間画素位置の近傍にある画素位置における高周波成分と等しい値として算出する。

さらに、本発明の画像処理装置の一実施態様において、前記ノイズ推定部は、前記画素補間位置におけるノイズの高周波成分を、該補間画素位置の近傍にある画素からランダムに選択した画素の高周波成分と等しい値として算出する。

さらに、本発明の画像処理装置の一実施態様において、前記ノイズ推定部は、前記画素補間位置におけるノイズの高周波成分を、前記単板カラー撮像素子のノイズモデルを利用して算出する。

さらに、本発明の画像処理装置の一実施態様において、前記単板カラー撮像素子による撮影処理によって生成される色モザイク画像に含まれる複数色の各々に対して、前記低周波成分算出処理部と、前記ノイズ推定部と、前記ブレンド処理部の処理による画素補間位置の画素値を算出する処理を行う。

さらに、本発明の画像処理装置の一実施態様において、前記単板カラー撮像素子による撮影処理によって生成される色モザイク画像に含まれる複数色中、最も密度の高い画素分布を持つ色の高周波成分を算出し、算出した高周波成分を、他の色の高周波成分として利用した補間処理を実行する。

さらに、本発明の第２の側面は、
単板カラー撮像素子を有する撮像部と、
前記撮像部において撮像されたモザイク画像を入力して前記いずれかに記載の画像処理を実行する画像処理部を有する撮像装置にある。

さらに、本発明の第３の側面は、
画像処理装置において実行する画像処理方法であり、
低周波成分算出処理部が、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して画素補間位置に対応する画素値の低周波成分を算出する低周波成分算出処理ステップと、
ノイズ推定部が、前記色モザイク画像を入力して画素補間位置に対応するノイズの高周波成分を推定するノイズ推定ステップと、
ブレンド処理部が、前記画素補間位置に対応する画素値の低周波成分とノイズの高周波成分との加算結果を適用して前記画素補間位置の画素値を算出するブレンド処理ステップを実行する画像処理方法にある。

さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
低周波成分算出処理部に、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して画素補間位置に対応する画素値の低周波成分を算出させる低周波成分算出処理ステップと、
ノイズ推定部に、前記色モザイク画像を入力して画素補間位置に対応するノイズの高周波成分を推定させるノイズ推定ステップと、
ブレンド処理部に、前記画素補間位置に対応する画素値の低周波成分とノイズの高周波成分との加算結果を適用して前記画素補間位置の画素値を算出させるブレンド処理ステップを実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラムコードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、単板カラー撮像素子によって撮像された色のモザイク画像の補間を行うことができる。エッジ部においては信号が低周波成分から高周波成分まで十分に復元された補間値が生成され、平坦部においてはセンサのノイズ特性に従ったノイズを含む補間値が生成される。この処理により、例えば規則的なパターン発生などが防止された視覚的に好ましい補間画像が生成される。

具体的には、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力し、画素補間位置に対応する画素値の低周波成分と、ノイズの高周波成分を推定し、これらの加算結果を適用して画素補間位置の画素値を算出する。エッジ適応補間処理部では、画素補間位置における画素値を、エッジ方向にある参照画素の画素値を利用して算出する。ブレンド処理部が、エッジ適応補間画素値と、画素補間位置に対応する画素値の低周波成分とノイズの高周波成分の加算結果を画素補間位置の平坦度に応じてブレンドして最終的な補間画素値を算出する。
この処理によって、例えば規則的なパターン発生などが防止された視覚的に好ましい補間画像が生成される。

デモザイク処理について説明する図である。 本発明の画像処理装置の構成例について説明する図である。 本発明の画像処理装置の一構成例である撮像装置のハードウェア構成例について説明する図である。 本発明の画像処理装置において処理対象とする画像の例について説明する図である。 本発明の画像処理装置における補間処理の例について説明する図である。 本発明の画像処理装置の平坦部検出部１０１の第１構成例について説明する図である。 本発明の画像処理装置の処理対象となる入力画像の一部を示す図である。 本発明の画像処理装置の平坦部検出部１０１の第２構成例について説明する図である。 本発明の画像処理装置の平坦部検出部１０１の第３構成例について説明する図である。 本発明の画像処理装置のエッジ適応補間処理部１０２の一実施例の詳細構成例について説明する図である。 本発明の画像処理装置の実行する補間画素値算出処理のフローチャートを示す図である。 本発明の画像処理装置の低周波成分算出処理部１０３の適用するローパスフィルタの係数の例を示す図である。 本発明の画像処理装置のノイズ推定部１０４の第１構成例を示す図である。 ノイズ推定部１０４の高周波成分算出部８０１で用いられるハイパスフィルタの係数の例について説明する図である。 図１４に示すハイパスフィルタの適用処理における画素値利用例について説明する図である。 図１３に示すノイズ推定部１０４のランダム選択部８０２においてランダムに選ばれるＧ画素位置の候補を示す図である。 本発明の画像処理装置のノイズ推定部１０４の第２構成例を示す図である。 ノイズ推定部１０４の第２構成例におけるノイズ高周波成分算出部９０２で用いられるハイパスフィルタの係数の例を説明する図である。 Ｇの高周波成分を用いてＲ，Ｂの高周波成分をＧのナイキスト周波数付近まで推定する処理に適用するローパスフィルタの係数の例を示す図である。 Ｇの高周波成分を用いてＲ，Ｂの高周波成分をＧのナイキスト周波数付近まで推定する処理に適用するハイパスフィルタの係数の例を示す図である。

以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は、以下の順番で行なう。
１．本発明の画像処理装置の実行する処理の概要について
２．本発明の画像処理装置の構成例について
３．単板カラー撮像素子で発生するノイズと本発明の補間処理について
４．本発明の画像処理装置のハードウェア構成例について
５．本発明の画像処理装置の実行する処理の詳細について
（５−１．平坦部検出部について）
（５−２．エッジ適応補間処理部について）
（５−３．低周波成分算出処理部について）
（５−４．ノイズ推定部について）
（５−５．ブレンド処理部について）
６．Ｒ，Ｂ画素の補間処理にＧ画素補間処理と異なる処理を適用する実施例について
７．その他の実施例
（７−１．フィルタの変更実施例）
（７−２．平坦度算出処理の変更実施例）
（７−３．ノイズ推定部の変更実施例）
（７−４．カラーフィルタ配列の変更実施例）
（７−５．ＲＢの補間処理の変更実施例）

［１．本発明の画像処理装置の実行する処理の概要について］
まず、本発明の画像処理装置の実行する処理の概要について説明する。
本発明の画像処理装置は、単板カラー撮像素子を用いて撮影されたモザイク画像の補間処理を高精度に行い、高品質なカラー画像の生成を実現する。この目的を達成するために本発明の画像処理装置は、画像の領域単位の属性、具体的には、エッジ部と平坦部を区別し、エッジ部に適した補間方法と平坦部に適した補間方法を実行する。

この処理により、単板カラー撮像素子によって撮像された色のモザイク画像を視覚的に好ましい状態に補間する。エッジ部では、ノイズの振幅と比較して信号の振幅が支配的であり、信号を高周波成分まで十分に復元できる補間処理が適している。一方、平坦部では信号の振幅と比較してノイズの振幅が支配的であり、ノイズを高周波成分まで十分に復元できる補間処理が適している。例えば本発明の画像処理装置の一実施例においては、エッジ部においては従来型の優れた補間処理を用い、平坦部においては従来処理が考慮していなかったノイズの高周波成分を復元する補間処理を実行する。

［２．本発明の画像処理装置の構成例について］
上述したように、本発明の画像処理装置は、エッジ部と平坦部を区別して各々に適した補間処理を実行する。この２つの異なる補間方式を使い分けるために、以下の処理手段を持つ。
各画素位置の不明な色に関して、
（１）画像の平坦部を検出する平坦部検出手段
（２）画素値の低周波成分を算出する低周波成分算出手段
（３）ノイズの高周波成分を推定するノイズ推定手段
（４）エッジ方向に沿った線形補間手段（エッジ適応補間処理部）
（５）（２）（３）を用いて算出された補間画素値と（４）を用いて算出された補間画素値を（１）を用いて算出された平坦度によりブレンドするブレンド手段
これらを備えた本発明のブロック図を図２に示す。

図２を用いて本発明の画像処理装置の一構成例について説明する。図２に示す画像処理装置は、上記の（１）〜（５）の各構成要素、すなわち、平坦部検出部１０１、エッジ適応補間処理部１０２、低周波成分算出処理部１０３、ノイズ推定部１０４、ブレンド処理部１０５を有する。本発明の画像処理装置は、例えば撮像装置、ＰＣ等、様々な装置において実現可能である。図２に示すブロック図は、これ等の様々な装置において、本発明に従った処理を実行する要素を抽出して示した図である。

具体的には、例えば撮像装置であれば、ＤＳＰ（デジタルシグナルプロセッサ）、ＰＣであれば、ＣＰＵにおいて、予めメモリに記録したプログラムに従った画像処理により、図２に示す構成に対応した処理を実行することができる。

本発明の画像処理装置において処理対象とする画像は、単板カラー撮像素子によって撮像された色のモザイク画像である。先に図１（１）を参照して説明したような各画素単位にＲＧＢ等の特定色の画素値のみが設定された画像である。

エッジ適応補間処理部１０２はエッジ部に適した補間値を生成する。
低周波成分算出処理部１０３と、ノイズ推定部１０４において、平坦部に適した補間値が生成される。
これら２つの補間結果を平坦部検出部１０１が算出する平坦度を用いてブレンド処理部１０５においてブレンド処理を行う。これらの処理により、全ての補間画素位置で視覚的に好ましい補間結果としての補間画像を得ることができる。なお、補間画像とは、全ての画素位置に各色（例えばＲＧＢ）が設定された画像である。

［３．単板カラー撮像素子で発生するノイズと本発明の補間処理について］
本発明の画像処理装置では、処理対象画像から画素値変化の大きいエッジ部と画素値変化の少ない平坦部を判別し、エッジ部において従来型の補間処理を行い、平坦部においては、低周波成分については線形補間を行い、高周波成分についてはノイズの高周波成分の推定を行うという処理を行う。

以下、このような処理を実行する理由について説明する。
単板カラー撮像素子で発生するノイズは、画素毎に独立して発生し、かつノイズ量は確率的に変動することから、観測されなかった画素位置におけるノイズの値を知ることは出来ない。すなわち、処理画像としてのモザイク画像は、各画素単位で例えばＲＧＢのいずれかの色情報しか得られない。例えば平坦部におけるＲ画素位置ではＲ対応のノイズ量は算出できてもＧＢに対するノイズは算出できず確率的に推定することが必要となる。

補間処理は、例えばＲ画素位置のＧやＢの画素値を推定する処理であり、そのため、補間画素位置におけるノイズは、確率的な意味でもっともらしいノイズを推定することしか出来ない。このノイズ推定処理については、２種類の方法が考えられる。
以下、画像の平坦部における信号はＤＣ成分のみであるとして話を進める。

第１のノイズ推定方法は、平坦部では撮像された２つの画素の画素値を入れ替えても、画質が劣化しないという性質を利用したノイズ推定方法である。
平坦部は画素値が変化しない画像領域であり、信号はどの画素位置でも一定なので、画素値の入れ替えによって変化するのはノイズだけである。
ノイズは画素に独立して発生するので、画素値を入れ替える前の画像と、入れ替えた後の画像の生成確率はどちらも同じであり、どちらの画像ももっともらしいと言える。この考えを平坦部における補間処理に用いると、撮像された画素の中から一画素選び、その値を補間値として用いるという処理になる。

この際、補間値として選択する画素位置に偏りが出ないように選ぶ必要がある。
同じ画素位置の画素値を、複数の補間位置の画素値として使い続けた場合、補間された画素の値が全て同じ値になるため、本来有るはずの無い、空間的なパターンが生じると同時に、本来のノイズの確率分布から逸脱してしまうという問題が生じる。
このような問題を生じさせないためには、補間値として選択する画素位置をランダムすることが好ましい。

第２のノイズ推定方法は、撮像素子で発生するノイズは事前にモデル化可能であるという性質を利用したものである。撮像素子のノイズについては詳しく調べられており、例えば、以下の文献等に詳細が記載されている。
［Ｋ Ｉｒｉｅ ｅｔ ａｌ．，"Ａ ｍｏｄｅｌ ｆｏｒ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｎｏｉｓｅ ｉｎ ＣＣＤ ｄｉｇｉｔａｌ−ｖｉｄｅｏ ｃａｍｅｒａｓ"，Ｍｅａｓ．Ｓｃｉ．Ｔｅｃｈｎｏｌ．１９，２００８］、
［Ｈ．Ｔｉａｎ，"Ｎｏｉｓｅ Ａｎａｌｙｓｉｓ ｉｎ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒｓ"，Ｐｈ．Ｄ Ｔｈｅｓｉｓ， Ｓｔａｎｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ，ＣＡ，２０００．］、
［米本和也，"ＣＣＤ／ＣＭＯＳイメージセンサの基礎と応用"、ＣＱ出版社，２００３］
これ等の文献に、詳細が記載されている。

撮像素子では複数の要因のノイズが加算されて一つのノイズ量として観測されるが、加算後のノイズは、例えば文献［Ａ．Ｂｏｓｃｏ，ｅｔ ａｌ．，"Ｓｉｇｎａｌ ｄｅｐｅｎｄｅｎｔ ｒａｗ ｉｍａｇｅ ｄｅｎｏｉｓｉｎｇ ｕｓｉｎｇ ｓｅｎｓｏｒ ｎｏｉｓｅ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｖｉａ ｍｕｌｔｉｐｌｅ ａｃｑｕｉｓｉｔｉｏｎｓ"，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ，２０１０］に記載があるように、信号値とノイズの分散が以下に示す（式１）に示される線形式で近似できることが知られている。

・・・・（式１）

上記式１において、
ｌは信号値、
Ｖｎ（ｌ）はノイズの分散、
ａ，ｂは撮像素子に依存する定数である。

撮像素子のノイズは簡易的には上記の（式１）に従って算出される分散を持ち、平均が０であるガウス分布のホワイトノイズとしてモデル化される。

上記式１を用いてノイズの分散を求めるためには、処理対象となる画像の信号値（画素値）を知る必要がある。ノイズの期待値が０であることから、平坦部においては十分な数の画素を加算平均することで、近似的に信号値を知ることができる。ノイズモデルと信号値が分かっているならば、ノイズモデルに従って確率的に発生させたノイズに信号値を加算することで、平坦部におけるもっともらしい画素値を算出することが出来るので、これを補間画素位置の画素値として用いれば良い。例えば撮像素子に対応して予め求められたノイズモデルを利用することが好ましい。

ただし、上記２種類の方法についての説明では、画像の平坦部では信号がＤＣ成分のみであると仮定して話を進めている点に注意しなければならない。
実際の画像では信号がＤＣ成分のみしか存在しない領域というものは殆ど存在せず、大抵の場合、平坦部とは言っても、低周波成分を中心とした振幅の小さなテクスチャが存在する。

そのため、上記２種類の方法をそのまま用いると、テクスチャの構造を破壊してしまうため、視覚的に不自然な補間画像が得られる。そこで、画像を高周波と低周波の２つの帯域に分け、低周波の補間には線形補間を用い、高周波に関しては上記２種類の方法を用いて補間する。帯域分割を行うことで、厳密にはノイズの白色性が若干失われるが、視覚的には十分に白色性が保たれる。一方，平坦部のテクスチャについては低域成分が支配的であることから、線形補間で十分な画質が得られる。

以上の議論をまとめると、
エッジ部において従来型の補間処理を行い、平坦部においては、低周波成分については線形補間を行い、高周波成分についてはノイズの高周波成分の推定を行えば良いということになる。なお、以下の実施例では、エッジ部において実行する補間処理として、前述したＵＳ５６５２６２１や特開平７−２３６１４７に記載されたエッジ方向に沿った線形補間処理を適用した例について説明する。

［４．本発明の画像処理装置のハードウェア構成例について］
以下、図面に従って本発明の実施例を説明する。実施例は、本発明を内部に実装した撮像装置（デジタルスチルカメラ）の例である。はじめに全体像の構成及び動作について説明し、その後各部の構成と動作を説明する。最後に本実施例から派生できる本発明の実施例のバリエーションについて言及する。

図３は本発明の画像処理装置の一実施例であるデジタルビデオカメラシステムの構成を示すブロックダイアグラムである。図３に示すように、画像処理装置は、レンズ２０１、絞り２０２、ＣＣＤイメージセンサ２０３、相関２重サンプリング回路２０４、Ａ／Ｄコンバータ２０５、ＤＳＰブロック２０６、タイミングジェネレータ２０７、Ｄ／Ａコンバータ２０８、ビデオエンコーダ２０９、ビデオモニタ２１０、ＣＯＤＥＣ２１１、メモリ２１２、ＣＰＵ２１３、入力デバイス２１４から構成される。

入力デバイス２１４はカメラ本体にある録画ボタンなどの操作ボタン類である。また、ＤＳＰブロック２０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理を行うことができるようになっている。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。

光学系を通過してＣＣＤ２０３に到達した入射光は、まずＣＣＤ撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路２０４によってノイズ除去され、Ａ／Ｄコンバータ２０５によってデジタイズされた後、ＤＳＰ２０６中の画像メモリに一時格納されるようになっている。

撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ２０７が信号処理系を制御するようになっている。ＤＳＰ２０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ２０８もしくはＣＯＤＥＣ２１１あるいはその両方に送られる。Ｄ／Ａコンバータ２０８はＤＳＰ２０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ２０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ２１０でモニタできるようになっていて、このビデオモニタ２１０は本実施例においてカメラのファインダの役割を担っている。また、ＣＯＤＥＣ２１１はＤＳＰ２０６から送られる画像データに符号化をおこない、符号化された画像データはメモリ２１２に記録されるようになっている。ここで、メモリ２１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。

以上が本実施例のデジタルビデオカメラのシステム全体の説明であるが、本発明に関連する画像処理である補間処理等が実行されるのは、ＤＳＰ２０６である。図２の画像処理装置の構成は、図３に示すデジタルスチルカメラとしての画像処理装置の場合、ＤＳＰ２０６の処理構成に対応する。

以下、実施例として、図３に示すデジタルスチルカメラである画像処理装置のＤＳＰ２０６において実行する処理例を説明する。
ＤＳＰ２０６内部において、入力された画像信号のストリームに対して演算ユニットが所定のプログラムコードに記述された演算を順次実行するようにして実現されている。以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、本発明は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装して構成してもよい。

本実施例では図２における平坦部検出部１０１に関して、
（ａ）画素値の統計量を用いた構成、
（ｂ）画素値の水平方向・垂直方向の高周波成分を用いた構成、
（ｃ）画素値の等方的な高周波成分を用いた構成
これらの、３つの異なる構成について説明を行う。

また、図２におけるノイズ推定部１０４に関して、補間位置のノイズの高周波成分を周囲の画素のノイズの高周波成分を用いて推定値する構成とノイズモデルを使って推定値する構成の、２つの異なる構成について説明を行う。例えば撮像素子に対応して予め求められたノイズモデルを利用することが好ましい。

また。以下に説明する実施例では、図４に示される一般的なカラーフィルタ配列を持つ、単板カラー撮像素子によって撮像された色のモザイク画像を処理対象とした例について説明する。図４に示すモザイク画像は、先に図１（１）を参照して説明したモザイク画像と同様の画像である。
Ｒ、Ｇ、Ｂの３つの色に対し別々に本発明の補間処理を適用することで、一画素辺り３つの色を補間することが出来るので、以下の説明では、Ｇの補間処理を代表例として説明を行う。

図４に示すカラーフィルタ配列において、ＲとＢの画素数がＧの半分しか存在しないが、図５に示されるように、まずＲＢの画素数が２倍になるように本発明を適用し、補間されたＲＢに対して更に画素数が２倍になるように本発明を適用すれば良い。
つまり、Ｇに対して適用される処理を、ＲＢについては２回ずつ行えば良いということである。また、別の効果的な方法として、Ｇ画素にのみ本発明を適用し、ＲＢ画素については他の方法で補間する方法について後ほど述べる。

［５．本発明の画像処理装置の実行する処理の詳細について］
以下、図２に示す画像処理装置の各処理部の詳細処理について、順次説明する。
（５−１．平坦部検出部について）
平坦部検出部１０１は処理対象画像を構成する画像領域単位の平坦度を算出する。すなわち、局所領域がどの程度平坦であるかどうかを示す平坦度（Ｆｌａｔｎｅｓｓ）を算出する。
平坦度（Ｆｌａｔｎｅｓｓ）は０から１までの連続値を取り、局所領域が完全に平坦である時に１、大きなエッジが存在する時に０になるパラメータである。この平坦度（Ｆｌａｔｎｅｓｓ＝０〜１）の値は、ブレンド処理部１０５に出力され、ブレンド比率として利用される。

すなわち、平坦度（Ｆｌａｔｎｅｓｓ＝０〜１）はブレンド比率α＝Ｆｌａｔｎｅｓｓとして利用され、ブレンド処理部１０５では、例えば、
エッジ適応補間処理部１０２の出力に（１−α）を乗算し、
低周波成分算出処理部１０３の出力とノイズ推定部１０４の出力との加算値に（α）を乗算し、これら２つの乗算値を加算するブレンド処理の結果を補間画素値として出力する処理を行う。これらの処理については後述する。

図６は平坦部検出部１０１の第１構成例を示した図である。
統計量算出部３０１では、補間画素位置を中心とした局所領域において、画素値分布を示す統計量として平均値と分散もしくは分散の近似値を計算する。

図７を参照して具体的処理例を説明する。図７は、処理対象となる入力画像の一部を示している。入力画像は各画素位置にＲＧＢいずれか１つの画素値のみが設定されたモザイク画像である。図７に示すＧ０〜Ｇ１１はモザイク画像中の画素設定位置である。中心のＧｃは、本来Ｇ画素ではないＲまたはＢ画素の画素値が設定された画素位置である。この中心のＧ画素値を算出する処理が補間処理であり、この中心画素位置が、補間画素位置となる。

補間画素位置Ｇｃの位置における平均Ａｖｅ、分散Ｖａｒ、分散の近似値ＡｐｘＶａｒは、Ｇｃの近傍に存在する撮像されたＧ画素値をＧ０〜１１とすると、以下に示す式２によって求められる。

・・・・・（式２）

上記式においてｉは、図７に示すＧ画素のナンバーに対応する。ｉ＝０〜１１である。
分散の近似値ＡｐｘＶａｒは、Ｇ０〜１１の各画素値と平均との差分絶対値の総和として示される。

平坦度算出部１，３０２では予め用意されたノイズモデル（例えば前述の式１）を用い、Ｖｎ（Ａｖｅ）を求める。
Ｖｎ（Ａｖｅ）は画素値がＡｖｅである時のノイズの分散を表すものであることから、局所領域が平坦であれば、Ａｖｅが信号値の十分な近似値となり、ＶａｒとＶｎ（Ａｖｅ）がほぼ等しくなることが期待される。逆に、局所領域にノイズと区別可能なエッジが存在する場合は、ＶａｒがＶｎ（Ａｖｅ）と比較して大きく異なることが期待される。

この現象を利用して、平坦度算出部１，３０２では局所領域がどの程度平坦なのかを示す平坦度を算出する。
Ｇｃにおける平坦度を算出する式を、以下の式３に示す。

・・・・・（式３）

統計量として分散の代わりに分散の近似値を用いる場合は、ノイズモデルを変える以外は、分散を用いる場合と同じである。
信号値とノイズの分散の関係は、先に説明した式１に示されるように線形式であるが、信号値とノイズの分散の近似値との関係は非線形になる。
非線形な関係をそのまま用いても良いし、数本の折れ線で近似しても良いし、簡単には一本の直線で近似し、線形な関係としても良い。
上記処理を全ての補間画素位置において行うことで、全ての補間画素位置において平坦度が求められる。

図８は平坦部検出部１０１の第２構成例を示した図である。
水平方向高周波成分算出部４０１では局所領域の複数個所で計算された水平方向ハイパスフィルタの結果の絶対値の総和を求める。
垂直方向高周波成分算出部４０２では局所領域の複数個所で計算された垂直方向ハイパスフィルタの結果の絶対値の総和を求める。

図７の中心に示す補間画素位置Ｇｃの位置における水平方向高周波成分Ｈｈと垂直方向高周波成分Ｖｈを算出する式を以下の式４に示す。

・・・・・（式４）

局所領域が平坦であれば、ＨｈとＶｈにはノイズ成分だけが含まれ、ＨｈとＶｈがほぼ等しくなることが期待される。
逆に、局所領域にノイズと区別可能なエッジが存在する場合は、ＨｈとＶｈが大きく異なることが期待される。
この現象を利用して、平坦度算出部２，４０３では局所領域がどの程度平坦なのかを示す平坦度を算出する。

図７の中心に示す補間画素位置Ｇｃの位置おける平坦度を算出する式を、以下の式５に示す。

・・・・・（式５）

上記処理を全ての補間画素位置において行うことで、全ての補間画素位置において平坦度が求められる。

図９は平坦部検出部１０１の第３構成例を示した図である。
高周波成分算出部５０１では局所領域の複数個所で計算されたハイパスフィルタの結果の絶対値の総和を求める。
図７の中心に示す補間画素位置Ｇｃの位置における高周波成分Ｈを算出する式を、以下の式６に示す。

・・・・・（式６）

局所領域が平坦であればＨが小さくなり、局所領域にノイズと区別可能なエッジが存在する場合は、Ｈが大きくなることが期待される。
この現象を利用して、平坦度算出部３，５０２では局所領域がどの程度平坦なのかを示す平坦度を算出する。

図７の中心に示す補間画素位置Ｇｃの位置における平坦度を算出する式を、以下の式７に示す。

・・・・・（式７）

上記式７において、
ｃ，ｄはチューニングパラメータである。
上記処理を全ての補間画素位置において行うことで、全ての補間画素位置において平坦度が求められる。

上記３つの異なる平坦部検出部の構成は、別々に用いても良いし、複数を同時に用いても良い。同時に用いる場合は、例えば、以下に示す式８に従って、異なる３つの構成で求められた平坦度：Ｆｌａｔｎｅｓｓ１、Ｆｌａｔｎｅｓｓ２、Ｆｌａｔｎｅｓｓ３から一つの平坦度：Ｆｌａｔｎｅｓｓ４を求めるようにすれば良い。

・・・・・（式８）

上記式８において、
ｅ，ｆ，ｇは総和が１になるような任意の係数である。

（５−２．エッジ適応補間処理部について）
次に、図２に示すエッジ適応補間処理部１０２の詳細について説明する。
エッジ適応補間処理部１０２の一実施例の詳細ブロック図を図１０に示す。
エッジ適応補間処理部１０２では図４に示す処理対象となるモザイク画像中、Ｇ画素値が存在しない画素位置において、エッジ方向に沿った線形補間処理を行う。
補間画素位置における画素値の水平・垂直方向の変化量をエッジ量とし、エッジ量が小さい方向に沿って、線形補間を行えば良い。

図７の中心に示す補間画素位置Ｇｃの位置にＧ画素値を補間するという例を用いて説明を行う。
図７の中心に示す補間画素位置Ｇｃの位置のＧ補間値、すなわちＧ画素値は図１１に示すのフローチャート従って求められる。

図１１に示すフローチャートの各処理と図１０に示すエッジ適応補間処理部１０２の各ブロックの処理との対応は以下の通りである。
図１０に示すエッジ適応補間処理部１０２の水平エッジ量算出部６０１と垂直エッジ量算出部６０２が、図１１に示すフローチャートのステップＳ１０１の処理を実行する。

図１０に示すエッジ適応補間処理部１０２の補間値選択部６０５が、図１１に示すフローチャートのステップＳ１０２の処理を実行する。
図１０に示すエッジ適応補間処理部１０２の水平補間部６０３が、図１１に示すフローチャートのステップＳ１０３の処理を実行する。
図１０に示すエッジ適応補間処理部１０２の垂直補間部６０４が、図１１に示すフローチャートのステップＳ１０４の処理を実行する。
図１１に示すフローチャートのステップＳ１０１〜Ｓ１０４の処理を全ての補間画素位置において行うことで、全ての画素位置にＧ信号を揃えることが出来る。

図１１のフローに示す処理について説明する。
ステップＳ１０１において、
図７の中心に示す補間画素位置Ｇｃの水平方向に隣接するＧ画素値Ｇ５，Ｇ６の差分絶対値ｄＨと、補間画素位置Ｇｃの垂直方向に隣接するＧ画素値Ｇ３，Ｇ８の差分絶対値ｄＶを算出する。
ｄＨ＝｜Ｇ５−Ｇ６｜
ｄＶ＝｜Ｇ３−Ｇ８｜
これ等の値を算出する。

ステップＳ１０２では、図１０に示すエッジ適応補間処理部１０２の補間値選択部６０５が、
ｄＨ＞ｄＶ
上記式が成立するか否かを判定する。
すなわち、補間画素位置Ｇｃの水平方向に隣接するＧ画素値Ｇ５，Ｇ６の差分絶対値ｄＨが、補間画素位置Ｇｃの垂直方向に隣接するＧ画素値Ｇ３，Ｇ８の差分絶対値ｄＶより大きいか否かを判定する。
大きい場合は、ステップＳ１０４に進み、大きくない場合は、ステップＳ１０３に進む。

ステップＳ１０２の判定処理において、ｔｒｕｅと判定された場合、すなわち、補間画素位置Ｇｃの水平方向に隣接するＧ画素値Ｇ５，Ｇ６の差分絶対値ｄＨが、補間画素位置Ｇｃの垂直方向に隣接するＧ画素値Ｇ３，Ｇ８の差分絶対値ｄＶより大きい場合は、ステップＳ１０４に進み、補間画素位置Ｇｃの補間値、すなわちＧ画素値（Ｇｃ）を以下の式によって算出する。
Ｇｃ＝（Ｇ３＋Ｇ８）／２
すなわち、
補間画素位置Ｇｃの垂直方向に隣接するＧ画素値Ｇ３，Ｇ８を適用した線形補間によって補間画素位置Ｇｃの補間値、すなわちＧ画素値（Ｇｃ）を算出する。

一方、ステップＳ１０２の判定処理において、ｆａｌｓｅと判定された場合、すなわち、補間画素位置Ｇｃの水平方向に隣接するＧ画素値Ｇ５，Ｇ６の差分絶対値ｄＨが、補間画素位置Ｇｃの垂直方向に隣接するＧ画素値Ｇ３，Ｇ８の差分絶対値ｄＶより大きくない場合は、ステップＳ１０３に進み、補間画素位置Ｇｃの補間値、すなわちＧ画素値（Ｇｃ）を以下の式によって算出する。
Ｇｃ＝（Ｇ５＋Ｇ６）／２
すなわち、
補間画素位置Ｇｃの水平方向に隣接するＧ画素値Ｇ５，Ｇ６を適用した線形補間によって補間画素位置Ｇｃの補間値、すなわちＧ画素値（Ｇｃ）を算出する。

（５−３．低周波成分算出処理部について）
次に、図２に示す低周波成分算出処理部１０３の詳細について説明する。
低周波成分算出処理部１０３は処理対象画像であるモザイク画像、例えば図４に示すモザイク画像においてＧ画素値が存在しない画素位置における、Ｇ信号の低周波成分をローパスフィルタにより算出する。

低周波成分算出処理部１０３の適用するローパスフィルタの係数の例を図１２に示す。
図１２に示すローパスフィルタは、図４に示すモザイク画像においてＧ画素値が存在しない画素位置を中心として周囲の５×５画素に含まれるＧ画素値を適用してＧ信号の低周波成分を算出するものである。
図１２に示すローパスフィルタの適用処理を式で示すと、以下の式９によって表現される。以下の式９は、図７に示す中心画素位置Ｇｃの位置における低周波成分の算出式である。

・・・・・（式９）

上記処理を全ての補間画素位置において行うことで、全ての補間画素位置のＧ画素値の低周波成分を算出することが出来る。

（５−４．ノイズ推定部について）
次に、図２に示すノイズ推定部１０４の詳細について説明する。
図１３はノイズ推定部１０４の第１構成例を示した図である。
高周波成分算出部８０１は撮像されたＧ画素位置のＧ画素値の高周波成分を求める。
ここで得られる高周波成分は、画像の平坦部であればノイズの高周波成分である。
高周波成分算出部８０１で用いられる、ハイパスフィルタの係数の例を図１４に示す。

図１４に示すハイパスフィルタは、図４に示すモザイク画像においてＧ画素値が存在する画素位置を中心として周囲の５×５画素に含まれるＧ画素値を適用してＧ信号の高周波成分を算出するものである。
図１４に示すハイパスフィルタの適用処理を式で示すと、以下の式１０によって表現される。以下の式１０は、図１５に示す中心画素位置Ｇ２６の位置における高周波成分の算出式である。図１５のＧ２６の位置における高周波成分は、Ｇ２６の近傍に存在する撮像されたＧ画素値をＧ２０〜３２とすると、以下の式１０によって求められる。

・・・・・（式１０）

上記処理を全ての撮像された画素位置において行うことで、全ての撮像されたＧ画素位置に対応するＧ画素値の高周波成分を算出することが出来る。

図１３に示すノイズ推定部１０４のランダム選択部８０２では、処理対象画像であるモザイク画像における補間画素位置の近傍にあるＧ画素位置の中からランダムに１点を選び、選ばれた位置のＧ画素値の高周波成分を補間画素位置のノイズの高周波成分であると推定する。

高周波成分を選択するＧ画素の位置は補間画素位置の近傍領域とする。この選択範囲の近傍領域を局所領域と呼ぶものとする。局所領域のサイズを大きくし過ぎると、その領域内が平坦であるという前提が成り立ちにくくなるため、補間画素位置を中心とした７×７画素程度の領域を局所領域とするのが適当である。

また、最近傍の領域、つまり補間画素位置を中心とした３×３画素からは選択しない方が良い。なぜならば、最近傍から選ばれた場合、選ばれた画素におけるＧ画素値と補間されたＧ画素値がほぼ等しくなってしまうため、２画素連続で同じ値を持つ不自然な補間画像を生成してしまうケースが生じるためである。
図１６に上記、近傍領域内でランダムに選ばれるＧ画素位置の候補を示す。図１６中、中心画素が補間画素位置、その周囲のＧの記載画素位置が、高周波成分を補間画素位置のノイズの高周波成分であると推定するために選択されるＧ画素の候補位置である。

図１７はノイズ推定部１０４の第２の構成例を示したものである。
ノイズ生成部９０１はノイズモデルを用いてノイズ画像を生成する。
ノイズモデルは、例えば撮像素子に対応して予め求められたノイズモデルであり、ノイズの分散を求めるモデルであり、実際のノイズ値はノイズの分散と正規乱数を用いて求められる。以下の式１１にノイズ値を算出する式を示す。

・・・・・（式１１）

上記式１１において、Ｖｎ（Ａｖｅ）は先に説明した式３で用いられているものと同じであり、局所領域のＧ画素値の平均値から算出されたノイズの分散である。
Ｒ１，Ｒ２は（０，１］に分布する一様乱数である。一様乱数は一般的に知られている線形合同法などで算出すれば良い。

ノイズ高周波成分算出部９０２は生成されたノイズ画像に対してハイパスフィルタを適用し、ノイズの高周波成分を生成する。
ノイズ高周波成分算出部９０２で用いられるハイパスフィルタの係数の例を図１８に示す。

図１８に示すハイパスフィルタは、５×５画素の範囲で前記（式１１）に従って発生させたノイズ画像に対し適用し、ノイズの高周波成分を産出するものである。

前述のように、ノイズ生成部９０１はノイズモデルを用いてノイズ画像を生成する。用いるノイズモデルは例えば前述の式１によって定義されるノイズモデルを用いる。式１のノイズモデルを用いるためにはＧの信号値が必要になるが、Ｇの信号値として補間画素位置のＧ画素値の低周波成分を近似的に用いる。低周波成分は、低周波成分算出処理部１０３の結果を流用しても良い。

このように、図１３または図１７の構成を持つノイズ推定部１０４によって、全ての補間画素位置に対応するノイズの高周波成分を算出することが出来る。

（５−５．ブレンド処理部について）
次に、図２に示すブレンド処理部１０５の詳細について説明する。
ブレンド処理部１０５はエッジ部において適切なＧ補間値と平坦部において適切なＧ補間値を、平坦度を指標としてブレンドする。
ブレンド処理部１０５の処理を式で示すと、以下の式１２によって示される。

・・・・・（式１２）

上記式１２において、
（ｘ，ｙ）は補間すべき画素位置を示し、
ＧＥｄｇｅ（ｘ，ｙ）はエッジ適応補間処理部１０２で求められた、エッジ部において適切なＧ補間値、
ＧＬｏｗ（ｘ，ｙ）は低周波成分算出処理部１０３で求められた、平坦部において適切なＧ補間値の低周波成分、
ＧＮｏｉｓｅ（ｘ，ｙ）はノイズ推定部１０４で求められた、平坦部において適切なＧ補間値の高周波成分、
Ｆｌａｔｎｅｓｓ（ｘ，ｙ）は平坦部検出部１０１で求められた平坦度、
を表す。

このようにして補間画素位置においてブレンドされたＧ信号はエッジ部においては十分な信号の高周波成分を持ち、平坦部においては十分なノイズの高周波成分を持つことから、視覚的に自然な補間画像が得られる。

以上の実施例に従えば、図４に示すのカラーフィルタ配列に従って撮影されたモザイク画像において、Ｇ画素値について補間処理を行うことができる。すなわち全画素位置に対応するＧ画素値を算出することができる。
さらに、上述したＧ画素の補間処理と同様にしてＲ，Ｂの補間処理を行うこともできる。
これらの処理により、全画素に対応するＲＧＢ全画素値が設定された補間画像が生成できる。

［６．Ｒ，Ｂ画素の補間処理にＧ画素補間処理と異なる処理を適用する実施例について］
上述したＧ画素の補間処理と同様にしてＲ，Ｂの補間処理を行うこともできるが、ここでは別の効果的な方法として、Ｇ画素にのみ本発明を適用し、ＲＢ画素については他の方法で補間する方法について述べる。

上述したＧ画素の補間処理をＲ，Ｂの補間に用いた場合、Ｒ，Ｂのナイキスト周波数を超える信号が入力されるとエイリアシングが生じる。
そこで、Ｒ，Ｂのエイリアシングを抑制するために、Ｒ，Ｂ画素の補間処理にＧ画素補間処理と異なる処理を適用する。具体的には図４に示されるように、Ｒ，Ｂよりも２倍多い画素を持つＧの高周波成分を用いてＲ，Ｂの高周波成分をＧのナイキスト周波数付近まで推定する。

すなわち、色モザイク画像に含まれる複数色中、最も密度の高い画素分布を持つ色の高周波成分を算出し、算出した高周波成分から、他の色の高周波成分を推定する補間処理を実行する。

このようなエイリアシング抑制の考え方は、従来からデモザイク処理の一部として用いられており、注目画素位置におけるＧ信号の高周波成分をＧＨ、Ｒ，Ｂ信号の低周波成分をそれぞれＲＬ、ＢＬとすると、高周波まで復元されたＲ，Ｂ信号の推定値ＲＥ，ＢＥは、以下に示す式１３に従って求められる。

・・・・・（式１３）

上記式１３において、
ｋ，ｌは推定方法により異なる係数であり、簡単にはｋ＝ｌ＝１とすれば良い。
ＲＬ、ＢＬは色のモザイク画像にローパスフィルタを適用すれば計算でき、例えば、図１９に示される４つのローパスフィルタの係数の中から、注目画素の位相に応じて適当なものを選んで使えば良い。
ＧＨは、本発明により全画素位置に揃えられたＧ信号に対してハイパスフィルタを適用すれば計算でき、例えば、図２０に示されるハイパスフィルタの係数を用いて計算すれば良い。

このようにして補間されたＲ，Ｂ信号は、Ｒ，Ｂに対して本発明を適用する場合に比べ、エッジ部においてＲ，Ｂ信号が低周波成分から高周波成分までより正しく復元された補間値が生成される。

このようにして補間されたＲ，Ｂ信号は、Ｒ，Ｂに対して本発明を適用する場合に比べ、平坦部において、Ｇのノイズの高周波成分とＲ，Ｂのノイズの高周波成分が強い相関をもつことから、ノイズの色が揃い、単一色のノイズに近付く。
平坦部のノイズがＲ，Ｇ，Ｂの間で無相関な場合は画素位置によって様々な色が付いたノイズとなるが、一般的には単一色のノイズの方が視覚的に好ましい。

［７．その他の実施例］
以下、上述した実施例において、変更可能な点について説明する。
（７−１．フィルタの変更実施例）
上述した実施例においては、ハイパスフィルタ、ローパスフィルタ等、様々なフィルタを用いた信号処理を実行しているが、実施例に示したフィルタのサイズ、形状や係数は一例であり、異なる他のサイズ、形状や係数を用いても良い。

（７−２．平坦度算出処理の変更実施例）
処理対象画像を構成する画像領域単位の平坦度を算出する平坦部検出部１０１の処理についても以下のような変更が可能である。
図６を参照して説明した平坦部検出部１０１の第１構成例中の平坦度算出部１，３０２では局所領域がどの程度平坦なのかを示す平坦度（Ｆｌａｔｎｅｓｓ）の算出処理として、前述の式３を適用しているが、式３と異なる式、例えば、以下に示す式を使っても良い。
前述の式３に代えて以下に示す式１４に従って、局所領域がどの程度平坦なのかを示す平坦度（Ｆｌａｔｎｅｓｓ）を算出してもよい。

・・・・・（式１４）

上記式１４において、ｍはチューニングパラメータである。式３、式１４は一例であり、ノイズモデルと実測の統計量を比較する式であればどのような形でも構わない。

また図８を参照して説明した平坦部検出部１０１の第２構成例で説明した平坦度算出部１，３０２では、局所領域がどの程度平坦なのかを示す平坦度（Ｆｌａｔｎｅｓｓ）の算出処理として、前述の式５を適用している。すなわち、水平方向高周波成分Ｈｈと垂直方向高周波成分Ｖｈを用いて局所領域がどの程度平坦なのかを示す平坦度（Ｆｌａｔｎｅｓｓ）の算出を行っている。
前述の式５に代えて、以下に示す式１５を使って局所領域がどの程度平坦なのかを示す平坦度（Ｆｌａｔｎｅｓｓ）を算出してもよい。

・・・・・（式１５）

上記式１５において、ｎはチューニングパラメータである。
上記式１５以外にも、水平方向の高周波成分の大きさと垂直方向の高周波成分の大きさの比較結果が算出される式であればどのような形でも構わない。また、式５、式１５では水平、垂直の２方向しか考慮していないが、さらに斜め方向を考慮するなどして、より多くの方向を使って平坦度を算出してもよい。

（７−３．ノイズ推定部の変更実施例）
次に、ノイズ推定部１０４の変更例につい説明する。
ノイズの高周波成分を推定するノイズ推定部１０４について、先に図１３を参照して説明した第１構成例では、補間画素位置の周辺に存在する撮像された画素位置の中からランダムに１点選ぶ方法について説明を行った。

すなわち、図１３に示すノイズ推定部１０４のランダム選択部８０２では、処理対象画像であるモザイク画像における補間画素位置の近傍にあるＧ画素位置の中からランダムに１点を選び、選ばれた位置のＧ画素値の高周波成分を補間画素位置のノイズの高周波成分であると推定する。ランダムに選ばれるＧ画素位置の候補の具体例は、図１６に示すような位置である。

このような補間画素位置のノイズの高周波成分を推定すめための画素位置の設定は、ランダムでは無く充分に離れた固定の相対位置から選んでも良い。例えば補間画素位置が（ｘ，ｙ）の時に、常に（ｘ＋１０，ｙ＋１１）の撮像画素位置を選ぶといった処理である。

このような処理を行えば、特定のパターンが出現するといった問題は発生しない。なぜならば、十分に距離が離れたノイズの高周波成分に対しては、空間的な相関が人の目で知覚できないからである。

また、上述した実施例において、先に図１３を参照して説明した第１構成例では、高周波成分算出部８０１で用いられるハイパスフィルタとして等方的なハイパスフィルタを用いた例について説明した。すなわち図１４に示すフィルタである。

高周波成分算出部８０１で用いらるハイパスフィルタとしては、このような等方的なハイパスフィルタに限らず、例えばバイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタのようなフィルタを適用し、非等方エッジ保存平滑化処理を行ったＧ画素値を元信号から減算して求めた高周波成分を求める設定としてもよい。このようなフィルタを適用することで、エッジ近傍の平坦部においてより正しいノイズの高周波成分の推定値が得られる。

また、前述のように、ノイズの高周波成分を推定するノイズ推定部１０４について、先に図１３を参照して説明した第１構成例では、補間画素位置の周辺に存在する撮像された画素位置の中からランダムに１点選ぶ方法について説明を行った。
このランダム選択処理に際して、補間画素位置の低周波成分とランダム選択よって選ばれた近傍画素位置の低周波成分を比較し、大きく異なる場合には、別の近傍画素位置を選び直すといった再選択処理を行う構成としてもよい。このような再選択処理を行うことで、エッジ近傍の平坦部においてより正しいノイズの高周波成分の推定値が得られる。

さらに、ノイズの高周波成分を推定するノイズ推定部１０４について、先に図１７を参照して説明した第２構成例では、ノイズモデルで用いられるＧ信号値の近似値として等方的なローパスフィルタを用いて計算されたＧ画素値の低周波成分を用いた例について説明した。

すなわち、先に説明したように、先に図１７を参照して説明した第２構成例では、ノイズ生成部９０１はノイズモデルを用いてノイズ画像を生成する。用いるノイズモデルは例えば前述の式１によって定義されるノイズモデルを用いる。式１のノイズモデルを用いるためにはＧの信号値が必要になるが、Ｇの信号値として補間画素位置のＧ画素値の低周波成分を近似的に用いる。低周波成分は、先に説明した低周波成分算出処理部１０３と同じ処理を行えば算出できる。低周波成分算出処理部１０３の適用するローパスフィルタの係数の例は、先に図１２を参照して説明したとおりである。

Ｇ画素値の低周波成分を算出するフィルタは、このような設定に限らず、例えばバイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタのようなフィルタを適用し、非等方エッジ保存平滑化処理を行ったＧ画素値を用いてＧ画素値の低周波成分を算出する設定としてもよい。このようなフィルタの利用により、エッジ近傍の平坦部においてより正しい信号値の近似値が得られる。

（７−４．カラーフィルタ配列の変更実施例）
上述した実施例では、図４に示される一般的なカラーフィルタ配列を持つ撮像素子によって撮影されたモザイク信号に対する処理例として説明を行ったが、他のカラー配列を持つモザイク画像に対しても同様に本発明を適用することが出来る。

（７−５．ＲＢの補間処理の変更実施例）
先に説明した実施例では、図４に示すカラーフィルタ配列において、ＲとＢの画素数がＧの半分しか存在しないため、ＲＢ画素の補間処理としては、図５に示されるように、まずＲＢの画素数が２倍になるように上述した本発明に従った補間処理を適用し、ＲＢ画素をＧ画素と同様の数に増加させて、さらに、補間されたＲＢ画素を利用して更に画素数が２倍になるように、再度、本発明に従った補間処理を適用する処理例について説明した。

しかし、このような２回に分けた補間処理に限らず、１回で画素数が４倍になるように、本発明を適用することもできる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、単板カラー撮像素子によって撮像された色のモザイク画像の補間を行うことができる。エッジ部においては信号が低周波成分から高周波成分まで十分に復元された補間値が生成され、平坦部においてはセンサのノイズ特性に従ったノイズを含む補間値が生成される。この処理により、例えば規則的なパターン発生などが防止された視覚的に好ましい補間画像が生成される。

具体的には、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力し、画素補間位置に対応する画素値の低周波成分と、ノイズの高周波成分を推定し、これらの加算結果を適用して画素補間位置の画素値を算出する。エッジ適応補間処理部では、画素補間位置における画素値を、エッジ方向にある参照画素の画素値を利用して算出する。ブレンド処理部が、エッジ適応補間画素値と、画素補間位置に対応する画素値の低周波成分とノイズの高周波成分の加算結果を画素補間位置の平坦度に応じてブレンドして最終的な補間画素値を算出する。
この処理によって、例えば規則的なパターン発生などが防止された視覚的に好ましい補間画像が生成される。

１０１ 平坦部検出部
１０２ エッジ適応補間処理部
１０３ 低周波成分算出処理部
１０４ ノイズ推定部
１０５ ブレンド処理部
２０１ レンズ
２０２ 絞り
２０３ ＣＣＤイメージセンサ
２０４ 相関２重サンプリング回路
２０５ Ａ／Ｄコンバータ
２０６ ＤＳＰブロック
２０７ タイミングジェネレータ
２０８ Ｄ／Ａコンバータ
２０９ ビデオエンコーダ
２１０ ビデオモニタ
２１１ ＣＯＤＥＣ
２１２ メモリ
２１３ ＣＰＵ
２１４ 入力デバイス
３０１ 統計量算出部
３０２ 平坦度算出部１
４０１ 水平方向高周波成分算出部
４０２ 垂直方向高周波成分算出部
４０３ 平坦度算出部２
５０１ 高周波成分算出部
５０２ 平坦度算出部３
６０１ 水平エッジ算出部
６０２ 垂直エッジ算出部
６０３ 水平補間部
６０４ 垂直補間部
６０５ 補間値選択部
８０１ 高周波成分算出部
８０２ ランダム選択部
９０１ ノイズ生成部
９０２ ノイズ高周波成分算出部

Claims (16)

1. 単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して画素補間位置に対応する画素値の低周波成分を算出する低周波成分算出処理部と、
   前記色モザイク画像を入力して画素補間位置に対応するノイズの高周波成分を推定するノイズ推定部と、
   前記画素補間位置に対応する画素値の低周波成分とノイズの高周波成分との加算結果を適用して前記画素補間位置の画素値を算出するブレンド処理部を有する画像処理装置。
2. 前記画像処理装置は、
   前記画素補間位置の平坦度を算出する平坦部検出部と、
   前記画素補間位置における画素値を、エッジ方向にある参照画素の画素値を利用して算出するエッジ適応補間処理部を有し、
   前記ブレンド処理部は、
   前記平坦部検出部の算出した平坦度を、
   前記画素補間位置に対応する画素値の低周波成分とノイズの高周波成分との加算結果と、
   前記エッジ適応補間処理部の算出した画素値と、
   のブレンド比率として設定したブレンド処理を実行して前記画素補間位置の画素値を算出する請求項１に記載の画像処理装置。
3. 前記平坦部検出部は、
   前記画素補間位置近傍の画素値分布を示す統計量と、既定のノイズモデルとを比較して前記画素補間位置の平坦度を算出する請求項２に記載の画像処理装置。
4. 前記平坦部検出部は、
   前記画素補間位置近傍の画素値分布を示す統計量として画素値の分散を算出して、既定のノイズモデルとを比較して前記画素補間位置の平坦度を算出する請求項３に記載の画像処理装置。
5. 前記平坦部検出部は、
   前記画素補間位置近傍の画素値分布を示す統計量として画素値と画素値平均値との差分絶対値の総和を算出して、既定のノイズモデルとを比較して前記画素補間位置の平坦度を算出する請求項３に記載の画像処理装置。
6. 前記平坦部検出部は、
   前記画素補間位置近傍の局所領域の水平方向高周波成分と垂直方向高周波成分との差分に基づいて前記画素補間位置の平坦度を算出する請求項２に記載の画像処理装置。
7. 前記平坦部検出部は、
   前記画素補間位置における高周波成分に基づいて前記画素補間位置の平坦度を算出する請求項２に記載の画像処理装置。
8. 前記エッジ適応補間処理部は、前記画素補間位置における画素値を、エッジ方向にある参照画素の画素値を利用した線形補間処理によって算出する請求項２に記載の画像処理装置。
9. 前記ノイズ推定部は、
   前記画素補間位置におけるノイズの高周波成分を、該補間画素位置の近傍にある画素位置における高周波成分と等しい値として算出する請求項１または２に記載の画像処理装置。
10. 前記ノイズ推定部は、
    前記画素補間位置におけるノイズの高周波成分を、該補間画素位置の近傍にある画素からランダムに選択した画素の高周波成分と等しい値として算出する請求項９に記載の画像処理装置。
11. 前記ノイズ推定部は、
    前記画素補間位置におけるノイズの高周波成分を、前記単板カラー撮像素子のノイズモデルを利用して算出する請求項９に記載の画像処理装置。
12. 前記単板カラー撮像素子による撮影処理によって生成される色モザイク画像に含まれる複数色の各々に対して、
    前記低周波成分算出処理部と、前記ノイズ推定部と、前記ブレンド処理部の処理による画素補間位置の画素値を算出する処理を行う請求項１〜１１いずれかに記載の画像処理装置。
13. 前記単板カラー撮像素子による撮影処理によって生成される色モザイク画像に含まれる複数色中、最も密度の高い画素分布を持つ色の高周波成分を算出し、算出した高周波成分を、他の色の高周波成分として利用した補間処理を実行する請求項１〜１１いずれかに記載の画像処理装置。
14. 単板カラー撮像素子を有する撮像部と、
    前記撮像部において撮像されたモザイク画像を入力して前記請求項１〜１３いずれかに記載の画像処理を実行する画像処理部を有する撮像装置。
15. 画像処理装置において実行する画像処理方法であり、
    低周波成分算出処理部が、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して画素補間位置に対応する画素値の低周波成分を算出する低周波成分算出処理ステップと、
    ノイズ推定部が、前記色モザイク画像を入力して画素補間位置に対応するノイズの高周波成分を推定するノイズ推定ステップと、
    ブレンド処理部が、前記画素補間位置に対応する画素値の低周波成分とノイズの高周波成分との加算結果を適用して前記画素補間位置の画素値を算出するブレンド処理ステップを実行する画像処理方法。
16. 画像処理装置において画像処理を実行させるプログラムであり、
    低周波成分算出処理部に、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して画素補間位置に対応する画素値の低周波成分を算出させる低周波成分算出処理ステップと、
    ノイズ推定部に、前記色モザイク画像を入力して画素補間位置に対応するノイズの高周波成分を推定させるノイズ推定ステップと、
    ブレンド処理部に、前記画素補間位置に対応する画素値の低周波成分とノイズの高周波成分との加算結果を適用して前記画素補間位置の画素値を算出させるブレンド処理ステップを実行させるプログラム。